HDFS客户端操作（一）IDEA环境准备
一、Maven配置
因为之后用Idea写java代码需要。后期会用它来下载一些.jar包，是运行整个代码的依赖。
解压之后，conf是所有的配置，bin是目录。
这里找到Windows上的Maven中的conf文件夹-->settings.xml（用Notepad++打开）
{$MAVEN_HOME/conf/settings}
|
<!--本地仓库所在位置--> <localRepository>D:\m2\repository</localRepository>
<!--使用阿里云镜像去下载Jar包，速度更快--> <mirrors> <mirror> <id>alimaven</id> <name>aliyun maven</name> <url>http://maven.aliyun.com/nexus/content/groups/public/</url> <mirrorOf>central</mirrorOf> </mirror> </mirrors>
<!--本地配置JDK8版本--> <profiles> <profile> <id>jdk-1.8</id> <activation> <activeByDefault>true</activeByDefault> <jdk>1.8</jdk> </activation> <properties> <maven.compiler.source>1.8</maven.compiler.source> <maven.compiler.target>1.8</maven.compiler.target> <version>2.5.1</version> <maven.compiler.compilerVersion>1.8</maven.compiler.compilerVersion> </properties> </profile> </profiles> <properties> <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding> </properties>
|
里面第55行的localRepository就是本地仓库--Windows,中间的那个是存放目录。(后配的，很大的)
第161行--阿里云的maven（后配的)用来加快下载速度的。
第191行--jdk-1.8（后配的）
2.配置Maven在Windows上的环境变量
右键这台电脑--》属性--》高级系统设置--》环境变量--》ASUS的用户变量--》新建--》用户名：M2_HOME,值：D:\idealC\Maven\apache-maven-3.3.9--》双击Path--》新建：%M2_HOME%\bin--》确定--》确定--》确定
3.检测环境变量是否配置成功
找到目录D:\idealC\Maven\apache-maven-3.3.9\conf，然后再在搜索栏上操作：全选--》输入cmd--》回车-弹出黑色窗口（是以D:/...为开头的）--》然后在黑色窗口输入命令行：mvn -v--》如果能够返回关于版本号的信息，则证明Maven的Windows环境变量配置正确。
二、Windows本地配置Hadoop
1.下载Hadoop压缩包
下载安装包：hadoop-2.7.2.rar
2.Hadoop配置环境
右键“我的电脑”--》属性--》高级系统配置--》环境变量--》变量名：HADOOP_HOME、变量值：D:\idealC\Hadoop\hadoop-2.7.2--》确定--》编辑PATH--》添加：%HADOOP_HOME%\bin--》确定--》确定--》确定
1.IDEA中尝试下载一些插件
点击Plugins-->右侧输入搜索alibaba(检测代码是否规范)-->Install-->搜并下载Scala-->搜索并下载Lombok(简化bin代码的)
2.新建一个Java项目
|
打开IDEA为项目配置自己的Maven 每一次新建项目，都要配置一下Maven！ File-->Settings-->左上角输入Maven-->在Maven home directory中输入用的Maven的地址，我的是在D:/ideaC/Maven/apache-maven-3.3.9，下面的Local repository显示的就是仓库的位置也在D盘。然后User settings file 那行对应的最后一个选项--Override要勾选上--》再点击目录标签--》找D:/ideaC/Maven/apache-maven-3.3.9/conf/settings.xml --》OK--》OK |
File-->New Project -->Next-->Groupld--公司域名的反写com.itstar、Artifactld--项目名-->Next-->Project location: D:\idealC\Java Project\HDFSAPI-->Finish
配置Maven--每新创建一个项目，就需要新配置一遍Maven！ --》右下角弹出的小标签选第二个-自动加载。
这里的.idea是指数据信息（不用关心）、src中的main下面的java文件夹用来装代码、test文件夹用来做测试。
2）配置Maven文件-配置文件pom.xml
复制下面的配置信息到pom.xml文件--》放到依赖里面：<dependencies> 粘贴 - 复制的内容</dependencies>
为配置文件pom.xml补充配置内容：
|
<dependencies> <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-common</artifactId> <version>2.8.4</version> </dependency> <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-hdfs</artifactId> <version>2.8.4</version> </dependency> <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-client</artifactId> <version>2.8.4</version> </dependency>
<dependency> <groupId>org.projectlombok</groupId> <artifactId>lombok</artifactId> <version>1.16.10</version> </dependency>
<dependency> <groupId>log4j</groupId> <artifactId>log4j</artifactId> <version>1.2.17</version> </dependency> <dependency> <groupId>org.slf4j</groupId> <artifactId>slf4j-api</artifactId> <version>1.7.7</version> </dependency>
<!-- https://mvnrepository.com/artifact/junit/junit --> <dependency> <groupId>junit</groupId> <artifactId>junit</artifactId> <version>4.12</version> <scope>test</scope> </dependency> </dependencies>
|
可定期清理下载失败的文件：Everything--》搜：*.lastUpdated 进行删除即可。
可以直接搜Maven配置：输入maven / 搜索https://mvnrepository.com/ -->Search：hadoop-->点击Apache Hadoop Common-->这里可以点击2.8.4-->复制代码框中的代码--》粘贴到依赖里面。
然后返回--》返回--》点击Apache Hadoop Client Aggregator -->这里点击2.8.4-->复制代码--》粘贴--》返回--》返回--》点击Apache Hadoop HDFS--》2.4.8--》复制、粘贴
类似这样的操作就这样将Hadoop相关的下载下来。
安装在此目录下就不会出现关于log4j的警告了，因为这个log4j在Maven中有配置~
D:\idealC\Java Project\HDFSAPI\src\main\resources
4）接下来就可以用IDEA写代码了
可以在java包中创建一个class--HDFSAPI
在test/java中创建一个包--Day01-->再在此包中创建一个类--HDFSAPI
如果Test不识别，就到Settings--》Plugins中搜junit并下载即可。
