URL方式访问Hadoop的内容

时间:2023-03-10 03:35:28
URL方式访问Hadoop的内容

* 1、设置url支持hadoop,FsUrlStreamHandlerFactory
      * 2、创建URL对象,指定访问的HDFS路径
      * 3、openStream获取输入流对象,也就是读取的内容
      * 4、使用Hadoop的OIUtils工具类对输入流输出到控制台

 
 
public static void main(String[] args) throws Exception {
//通过eclipse远程调用hadoop方式访问,传入一个参数也就是hdfs的路径
 String PATH = args[0];
//设置URL支持Hadoop
URL.setURLStreamHandlerFactory(new FsUrlStreamHandlerFactory());
//创建URL对象
URL url = new URL(PATH);
//获取输入流
InputStream in = url.openStream();
//在控制台输出
IOUtils.copyBytes(in, System.out, 1024, true); } URL方式访问Hadoop的内容