windows下eclipse+hadoop2.4开发手册
1.解压下载的hadoop2.4，到任意盘符，例如D:\hadoop-2.4.0。
2.设置环境变量
①新建系统变量，如下所示。
②将新建的HADOOP_HOME变量“%HADOOP_HOME%\bin;”加入到PATH变量里，如下图。
3.将hadoop服务器下的hadoop目录下etc/hadoop目录下的以下四个文件拷贝到自己开发的电脑相应目录下，如下图所示。
4.如果hadoop服务器中上述四个文件配置的是机器名，请在开发的电脑中改为ip地址，例如下图。
5.将hadoop目录下的所有jar包拷贝到自己的项目中，例如下图所示。
①将“D:\hadoop-2.4.0\share\hadoop”目录下及其子目录中所有jar以及子目录下的lib目录下的jar拷贝到自己的项目中。
②我一共拷贝了117个jar，如下图所示。
6.将hadoop服务器上的hadoop目录下的etc/hadoop目录下的以下两个文件拷贝到项目中的src目录下，同样将文件内容中的机器名改为ip。
7.HDFS操作类
其中hdfspath例如："hdfs://192.168.1.103:9000/input/";//要保证你的hdfs空间中有此路径
import
java.io.FileNotFoundException;
import
java.io.FileOutputStream;
import
java.io.IOException;
import
java.io.InputStream;
import
java.io.OutputStream;
import
java.net.URI;
import java.util.ArrayList;
import
org.apache.hadoop.conf.Configuration;
import
org.apache.hadoop.fs.FSDataInputStream;
import
org.apache.hadoop.fs.FSDataOutputStream;
import
org.apache.hadoop.fs.FileStatus;
import
org.apache.hadoop.fs.FileSystem;
import
org.apache.hadoop.fs.Path;
import
org.apache.hadoop.io.IOUtils;
import
org.apache.hadoop.util.Progressable;
public class
HDFSOperation {
private Configuration
conf;
private FileSystem fs;
/**
* @Title: HDFSOperation
* @Description 初始化配置
* @author
cpthack
* @see
初始化配置
* @return
对参数的说明
* @param
对方法中某参数的说明
* @example 方法使用例子
* */
public HDFSOperation() throws
IOException{
conf = new Configuration();
fs = FileSystem.get(conf);
}
/**
* @Title: upLoad
* @Description 上传文件
* @author
cpthack
* @see
上传文件
* @return
对参数的说明
* @param
in：文件输入流；hdfsPath：保存在云端的文件路径
* @example 方法使用例子
* */
public boolean upLoad(InputStream in,
String hdfsPath){
Path p = new Path(hdfsPath);
try{
if(fs.exists(p)){
System.out.println("文件已经存在");
return
false;
}
//获得hadoop系统的连接
FileSystem fs =
FileSystem.get(URI.create(hdfsPath),conf);
//out对应的是Hadoop文件系统中的目录
OutputStream out = fs.create(new
Path(hdfsPath));
IOUtils.copyBytes(in, out, 4096,true);//4096是4k字节
in.close();
}catch(Exception e){
e.printStackTrace();
}
return true;
}
/**
* @Title: upLoad
* @Description 下载文件
* @author
cpthack
* @see
下载文件
* @return
对参数的说明
* @param
localPath：文件保存在本地的路径；hdfsPath：文件存在云端的路径
* @example 方法使用例子
* */
@SuppressWarnings("resource")
public boolean downLoad(String
hdfsPath,String localPath ){
Path path = new
Path(hdfsPath);
try {
if(!fs.exists(path)){
System.out.println("云端文件不存在");
return
false;
}
FileSystem hdfs =
FileSystem.get(conf);
Path dstPath = new
Path(localPath);
hdfs.copyToLocalFile(true,path,
dstPath);
} catch (Exception e) {
e.printStackTrace();
return false;
}
return true;
}
public boolean downFromCloud(String
hdfsPath,String srcFileName){
// 实例化一个文件系统
FileSystem fs;
try {
fs =
FileSystem.get(URI.create(hdfsPath), conf);
// 读出流
FSDataInputStream
HDFS_IN = fs.open(new Path(hdfsPath));
// 写入流
OutputStream
OutToLOCAL = new FileOutputStream(srcFileName);
// 将InputStrteam 中的内容通过IOUtils的copyBytes方法复制到OutToLOCAL中
IOUtils.copyBytes(HDFS_IN,
OutToLOCAL, 1024, true);
return true;
} catch (IOException
e) {
e.printStackTrace();
return
false;
}
}
/**
* @Title: deletePath
* @Description 删除文件
* @author
cpthack
* @see
删除文件
* @return
对参数的说明
* @param
hdfsPath：文件存在云端的路径
* @example 方法使用例子
* */
public boolean deletePath(String
hdfsPath){
try {
fs.delete(new
Path(hdfsPath), true);
} catch (IOException e) {
e.printStackTrace();
return false;
}
return true;
}
/**
* @Title: getFileList
* @Description 获取某个目录下所有文件
* @author
cpthack
* @see
获取某个目录下所有文件
* @return
对参数的说明
* @param
hdfsPath：存在云端的文件夹
* @example 方法使用例子
* */
public ArrayList<FileBean>
getFileList(String hdfsPath){
Path path = new
Path(hdfsPath);
ArrayList<FileBean>
fileList = new ArrayList<FileBean>();
FileStatus[] status;
try {
status =
fs.listStatus(path);
for(FileStatus fs :
status){
fileList.add(new
FileBean(fs));
}
} catch (Exception e) {
e.printStackTrace();
}
return fileList;
}
//创建文件夹
public boolean mkdir(String dir){
FileSystem fs;
try {
fs =
FileSystem.get(conf);
fs.mkdirs(new
Path(dir));
fs.close();
} catch (IOException e) {
e.printStackTrace();
return false;
}
return true;
}
/*删除文件夹*/
@SuppressWarnings("deprecation")
public boolean deleteDir(String dir){
FileSystem fs;
try {
fs =
FileSystem.get(conf);
fs.delete(new
Path(dir));
fs.close();
} catch (IOException e) {
e.printStackTrace();
return false;
}
return true;
}
}