hadoop1.2.1+hbase0.90.4+nutch2.2.1+elasticsearch0.90.5配置(伪分布式)

时间:2024-08-10 18:05:38

系统:ubuntu14.04

一、hadoop安装

ssh免密码登陆详情见上一篇博客。

解压hadoop1.2.1到某个目录下,这里解压到ubuntu下载目录下(注意没必要使用管理员权限)

在hadoop1.2.1 conf目录下的core-site.xml添加一下内容:

<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property> <property>
<name>hadoop.tmp.dir</name>
<value>/home/你的用户名/下载/hadoop-1.2./hadoop_tmp</value>
</property>
</configuration>

在hdfs-site.xml中添加一下内容:

<configuration>
<property>
<name>dfs.replication</name>
<value></value>
</property>
</configuration>

在mapre-site.xml中添加以下内容:

<configuration>
<property>
<name>mapred.job.tracker</name>
<value>localhost:</value>
</property>
</configuration>

在hadoop-env.sh中找到JAVA_HOME这一行,然后填写上你自己的java路径。

如果你已经设置好了ssh免密码登陆,那么就可以进去到hadoop目录下用bin/start-all.sh来启动伪分布式hadoop了。如果你想在任意目录下都可以使用hadoop命令则需要在/etc/profile中配置以下内容:

export HADOOP_HOME =hadoop安装路径
export PATH=在末尾添加:$HADOOP_HOME/bin

要启动hadoop,第一次先格式化namenode,命令为hadoop namenode -format

二、hbase

使用的hbase为hbase-0.90.4,同样解压到下载目录下。

然后配置conf目录下的hbase-site.xml,添加以下内容:

<configuration>

  <property>
<name>hbase.rootdir</name>
<value>hdfs://localhost:9000/hbase</value>
</property> <property>
<name>hbase.cluster.distributed</name>
<value>true</value>
</property> <property>
<name>hbase.zookeeper.quorum</name>
<value>localhost</value>
</property> </configuration>

同样在hbase-env.sh中找到JAVA_HOME,然后添加上自己的JAVA配置路径。

同时需要找到HBASE_MANAGES_ZK这一行,把后面的值设置为true。

接着替换jar包,使用以下命令:

rm /home/hadoop/hbase-0.90./lib/hadoop-core-0.20-append-r1056497.jar

cp /home/hadoop/hadoop-1.2./hadoop-core-1.2..jar /home/hadoop/hbase-0.90./lib

cp /home/hadoop/hadoop-1.2./lib/commons-collections-3.2..jar /home/hadoop/hbase-0.90./lib

cp /home/hadoop/hadoop-1.2./lib/commons-configuration-1.6.jar /home/hadoop/hbase-0.90./lib

路径要根据你们自己的路径来配置,主要就是把hbase中lib文件夹下的三个依赖hadoop的jar包替换为我们安装的hadoop-1.2.1的jar包。(ps:看路径最好进入到文件夹下右键用属性看具体路径)

同样在/etc/profile中需要设置一下HBASE_HOME,然后再PATH后面加上HBASE_HOME/bin。

至此,hbase配置完成,在hadoop启动的前提下,启动hbase ,命令:bin/start-hbase.sh(ps:启动hbase前必须启动hadoop,关闭hadoop前先关闭hbase,因为hbase是基于hadoop 的)

启动完成后用jps查看, 如果看到的是9个进程那就对了。

三、es安装

下载es就不说了。同样在下载目录下解压,解压后就完成了安装了~~~~~就是这么简单。

不过一般需要安装head插件和其他扩展 插件,可以自行百度,这里不在讲解。

进入到elasticsearch目录下,bin/elasticsearch启动es,然后用curl命令查看是否成功(没有curl命令的需要安装,sudo apt-get install curl)

curl -XGET 'localhost:9200/_cluster/health?pretty'

此条命令查看es是否成功启动,如果执行完后返回一组字符代表启动成功。

四、nutch2.2.1安装

此处可能会出比较多的问题。

下载解压后,先首先修改一个源码:

进入src/java/org/apache/nutch/crawl目录,修改GeneratorJob.java中的public Map<String,Object> run(Map<String,Object> args) 方法。

// generate batchId
 int randomSeed = Math.abs(new Random().nextInt());  
 String batchId = (curTime / 1000) + "-" + randomSeed;  
 getConf().set(BATCH_ID, batchId);   注意放置位置。

把nutch自带的hbase-site.xml 文件替换为我们自己的hbas-site.xml文件

修改nutch-site.xml文件为:

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <!-- Put site-specific property overrides in this file. --> <configuration> <property>
<name>storage.data.store.class</name>
<value>org.apache.gora.hbase.store.HBaseStore</value>
</property>
<property>
<name>http.agent.name</name>
<value>NutchCrawler</value>
</property>
<property>
<name>http.robots.agents</name>
<value>NutchCrawler,*</value>
</property>

在ivy.xml文件中找到以下内容:

<dependency org="org.apache.gora" name="gora-hbase" rev="0.3"
conf="*->default" />
去掉注释即可
同时为了让nutch2.2.1支持es0.90.5,找到这一行:

<dependency org="org.elasticsearch" name="elasticsearch" rev="0.19.4"
conf="*->default"/>

将0.19.4修改为0.90.5


在conf目录下找到gora.properties文件,添加以下内容:

gora.datastore.default=org.apache.gora.hbase.store.HBaseStore

接下来就是ant编译了,如果没有安装ant,请先安装ant。

ant clean

ant runtime

至此,nutch安装成功,可能在ant中会报一个Failed什么错误(忘记了。。。不过具体解决办法就是进入到提示的那个源码中,把小写改为大写即可。)

注:如果要成功连接hbase,最好把/etc/hosts中的127.0.1.1改为当前电脑上网ip,或者是单独设置一个静态ip对应,因为hbase的连接是通过网络进行连接的,不管是内网还是外网。