博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
大数据|java API写入HDFS文件-put
阅读量:6605 次
发布时间:2019-06-24

本文共 1984 字,大约阅读时间需要 6 分钟。

1:创建一个可以上传到hdfs文件系统的文件(wc.input)

2:编写java代码调用api完成附件的上传相当于执行-put命令

3:查看执行结果

全部代码

package com.lizh.hadoop.hdfs;import java.io.File;import java.io.FileInputStream;import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FSDataInputStream;import org.apache.hadoop.fs.FSDataOutputStream;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.IOUtils;public class HdfsApp {    public static FileSystem getFileSystem() throws IOException{        Configuration conf = new Configuration();        FileSystem fs = FileSystem.get(conf);        return fs;    }        public static void readFile(String path1) {        try {            FileSystem fs = getFileSystem();            Path path = new Path(path1);            FSDataInputStream in = fs.open(path);            IOUtils.copyBytes(in, System.out, 4000, false);        } catch (Exception e) {            // TODO: handle exception            e.printStackTrace();        }            }            public static void main(String[] args) throws Exception{        //String path ="/user/beifeng/mapreduce/wordcount/input/wc.input";        //readFile(path);        //把/opt/modules/hadoop-2.5.0/wc.input 内容写入到 /user/beifeng/put-wc.input        //write file        FileInputStream fisin =null;        FSDataOutputStream fsoutstream =null;        try {            String filename="/user/beifeng/put-wc.input";//文件系统目录            Path inputpath = new Path(filename);               FileSystem fs = getFileSystem();            fsoutstream = fs.create(inputpath);                    fisin = new FileInputStream(new File("/opt/modules/hadoop-2.5.0/wc.input"));//本地系统目录文件            IOUtils.copyBytes(fisin, fsoutstream, 4000, false);        } catch (Exception e) {            // TODO: handle exception            e.printStackTrace();        }finally{            IOUtils.closeStream(fsoutstream);            IOUtils.closeStream(fisin);        }    }            }

写文件流程图

转载地址:http://flwso.baihongyu.com/

你可能感兴趣的文章
swift3.0:sqlite3的使用
查看>>
【web JSP basePath】basePath的含义
查看>>
dos命令批处理发送文字到剪贴板
查看>>
Elasticsearch增删改查 之 —— Delete删除
查看>>
OK335xS 256M 512M nand flash make ubifs hacking
查看>>
Point Grey articles link
查看>>
三步走——带你打造一份完美的数据科学家简历
查看>>
shell的历史
查看>>
5.12. zip
查看>>
6.6. Ceph
查看>>
RBAC权限管理
查看>>
【Java对象生命周期】Java对象的生命周期:java是怎么分配内存的和怎么回收的?...
查看>>
高性能的通讯库-zeroMQ的几个高性能特征
查看>>
云计算学习1
查看>>
Elasticsearch教程
查看>>
CAS的Session两秒挂掉?--解决退出后登录,页面刷新的问题
查看>>
Android的SDK与ADT不匹配问题
查看>>
JFreeChart全面讲解
查看>>
chrome 升级 v.34 后 activiti5.14 Modeler 出错
查看>>
SOA(面向服务框架)
查看>>