Hadoop之HDFS客户端------java实现

1.HDFS—-java代码加载配置

public void setup() throws Exception{
        config = new Configuration();
        fs = FileSystem.get(config);
    }

2.HDFS——java实现在HDFS上创建文件夹

public void mkdir() throws Exception{
        Path dir = new Path("/usr/ymf1");
        fs.mkdirs(dir);
    }

3.HDFS——Java实现上传文件到HDFS

public void upload() throws Exception{
        Path file = new Path("/usr/ymf/yyy/hdfs.zip");
        FSDataOutputStream out = fs.create(file, true, 102400);//文件数据输出流——创建、设置缓冲带的大小
        String path = "E:\\Programming\\eclipse\\project\\hdfs.zip";
        IOUtils.copyBytes(new FileInputStream(new File(path)), out, config);//使用文件输入流，对字节进行复制
    }

4.HDFS——java实现列出HDFS路径下的文件

public void list() throws Exception{
        Path dir = new Path("/usr/zs");
        FileStatus[] fss = fs.listStatus(dir);
for(int i=0; i<fss.length; i++){
            FileStatus file = fss[i];
            System.out.println(file.getPath());
            System.out.println(file.getLen());
            System.out.println(file.getModificationTime());
        }

5.HDFS——java实现合并HDFS上的小文件

public void seq() throws Exception{
        Path file = new Path("/usr/ymf/test.seq");
//连续的写入文件，然后创建写者
        SequenceFile.Writer seq = SequenceFile.createWriter(fs, config, file, Text.class, Text.class, CompressionType.NONE);
        File dir = new File("E:/data/"); //文件所在本地地址
for(File f : dir.listFiles()){
            seq.append(new Text(f.getName()), new Text(FileUtils.readFileToString(f, "UTF-8")));//读取文件转换成字符串格式
//追加 文件系统 
        }

6.HDFS——java实现关闭连接

public void after() throws Exception{
        fs.close();
    }

7.HDFS——Java定义HDFS的配置

    FileSystem fs = null;
Configuration config = null;

8.将自己搭建的HDFS路径下的share下面hadoop下lib的jar包全部导入，然后导入自己搭建的HDFS的core.xml以及hdfs.xml文件，最后使用JUnit的jar包进行测试