Nutch，一个爬虫或者搜索引擎（加上索引的话）。
现在Nutch的最新版本是Nutch2.1。Nutch所有的版本可在这个网址下载http://archive.apache.org/dist/nutch/，这里使用的是Nutch1.6。
1. 下载Nutch1.6. 到http://archive.apache.org/dist/nutch/下载apache-nutch-1.6-bin.tar.gz。
2. 解压缩。终端 tar -zxvf apache-nutch-1.6-bin.tar.gz
3. 终端下cd到目录 apache-nutch-1.6-bin/runtime/local，下面会有bin conf lib logs plugins test 几个文件夹
4. 输入命令 bin/nutch ，如果出现下面的提示，说明nutch可用。可能会出现权限不够的提示，chmod 755 bin/nutch ，付给nutch执行权限。
Usage: nutch [-core] COMMAND
where COMMAND is one of:
crawl one-step crawler for intranets
readdb read / dump crawl db
mergedb merge crawldb-s, with optional filtering
readlinkdb read / dump link db
inject inject new urls into the database
generate generate new segments to fetch from crawl db
freegen generate new segments to fetch from text files
fetch fetch a segment's pages
parse parse a segment's pages
readseg read / dump segment data
mergesegs merge several segments, with optional filtering and slicing
updatedb update crawl db from segments after fetching
invertlinks create a linkdb from parsed segments
mergelinkdb merge linkdb-s, with optional filtering
solrindex run the solr indexer on parsed segments and linkdb
solrdedup remove duplicates from solr
solrclean remove HTTP 301 and 404 documents from solr
parsechecker check the parser for a given url
indexchecker check the indexing filters for a given url
domainstats calculate domain statistics from crawldb
webgraph generate a web graph from existing segments
linkrank run a link analysis program on the generated web graph
scoreupdater updates the crawldb with linkrank scores
nodedumper dumps the web graph's node scores
plugin load a plugin and run one of its classes main()
junit runs the given JUnit test
or
CLASSNAME run the class named CLASSNAME
Most commands print help when invoked w/o parameters.
Expert: -core option is for developers only. It avoids building the job jar,
instead it simply includes classes compiled with ant compile-core.
NOTE: this works only for jobs executed in 'local' mode
5. 继续测试，输入bin/nutch crawl会出现crawl的参数形式，Usage: Crawl <urlDir> -solr <solrURL> [-dir d] [-threads n] [-depth i] [-topN N]
其中，
urlDir就是种子url的目录地址
-solr <solrUrl>为solr的地址（如果没有则为空）
-dir 是保存爬取文件的目录
-threads 是爬取线程数量（默认10）
-depth 是爬取深度 (默认5）
-topN 是访问的广度 （默认是Long.max)
6. 配置nutch-site.xml文件。在local/conf目录下找到nutch-site.xml和nutch-default.xml,打开nutch-default.xml，找到
<property>
<name>http.agent.name</name>
<value></value>
<description>HTTP 'User-Agent' request header. MUST NOT be empty -
please set this to a single word uniquely related to your organization.
NOTE: You should also check other related properties:
http.robots.agents
http.agent.description
http.agent.url
http.agent.email
http.agent.version
and set their values appropriately.
</description>
</property>
将其复制到nutch-site.xml的
<configuration></configuration>中间，并用一个单词表示http.agent.name的value值，最后的结果如下。
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!-- Put site-specific property overrides in this file. -->
<configuration>
<property>
<name>http.agent.name</name>
<value>oscar</value>
<description>HTTP 'User-Agent' request header. MUST NOT be empty -
please set this to a single word uniquely related to your organization.
NOTE: You should also check other related properties:
http.robots.agents
http.agent.description
http.agent.url
http.agent.email
http.agent.version
and set their values appropriately.
</description>
</property>
</configuration>
这个是Nutch服从Robot协议，所以要改。
7. 添加种子url。在local目录下建文件夹如urls，在urls里面建文件如url，里面加入你要爬取的网站的入口url，如http://www.163.com/
8 配置regex-urlfilter.txt。同样在local/conf下找到regex-urlfilter.txt文件，注释掉最后一行。
# accept anything else
+.
添上你要抓取的网站的域名
# accept anything else
#+.
+^http://([a-z0-9]*\.)*163\.com/
这个很重要！ 这是正则表达式匹配，不要写错，上面是163的网站，只要改成你想爬取的网站的域名就行，其它的一个都不要改，除非你很熟悉正则表达式的语法，你可以写自己想爬取的特定url格式，正则表达式可见http://zh.wikipedia.org/zh-cn/%E6%AD%A3%E5%88%99%E8%A1%A8%E8%BE%BE%E5%BC%8F
9. 现在就可以爬取163所有的网页了。 在local目录下新建文件夹163保存爬取内容，选择合适的参数， bin/nutch crawl urls -dir 163
10. 等爬取完成后，在163的文件夹下会有三个文件夹crawldb linkdb segments，其中crawldb是所有需要爬取的超链接，Linkdb 中存放的是所有超连接及其每个连接的链入地址和锚文本，segments存放的是抓取的页面，以爬取的时间命名，个数不多于爬取的深度，Nutch的爬取策略是广度优先，每一层url生成一个文夹夹，直到没有新的url。在segments有6个文件夹，
crawl_generate ： names a set of urls to be fetched（待爬取的url）
crawl_fetch ： contains the status of fetching each url（爬取的url的状态）
content ： contains the content of each url（页面内容）
parse_text ： contains the parsed text of each url（网页的文本信息）
parse_data ： contains outlinks and metadata parsed from each url（url解析出来的外链和元数据）
crawl_parse ： contains the outlink urls, used to update the crawldb（更信crawldb的外链）
但是这些文夹都是不可读的，以方便存取并在高一层进行检索用。如果想看到具体内容，要使用Nutch定义的读取命令，如下
1）查看crawldb
bin/nutch readdb
选择合适的参数即可。如下
查看url地址总数和它的状态及评分：bin/nutch readdb 163/crawldb/ -stats
导出每个url地址的详细内容：bin/nutch readdb 163/crawldb/ -dump crawldb(导出的地址)
2）查看linkdb
查看链接情况：bin/nutch readlinkdb 163/linkdb/ -url http://www.163.com/
导出linkdb数据库文件：bin/nutch readlinkdb 163/linkdb/ -dump linkdb(导出的地址)
3）查看segments
bin/nutch readseg -list -dir 163/segments/ 可以看到每一个segments的名称，产生的页面数，抓取的开始时间和结束时间，抓取数和解析数。
bin/nutch readseg -dump 163/segments/20090309103156 segdb 导出segments,其中url/segments/20090309103156为一个segments文件夹，segdb为存放转换后的内容的文件夹.
最后一个命令可能是最有用的，用于获得页面内容，一般会加上几个选项
bin/nutch readseg -dump 163/segments/20120823201609/ 163_oscar/segments -nofetch -nogenerate -noparse -noparsedata -nocontent 这样得到的dump文件只包含网页的正文信息，没有标记。
