crawler_爬虫开发的曲线图

时间:2021-12-24 14:46:14

个人总结爬虫的学习曲线,可分为三个阶段,

一、

主要在填充基础知识,要熟悉http协议,学习正则表达式,首先基于jdk的基础包的网络功能,.net包下的  httpurlconnction

从细节上简单访问网络数据,进一步可以减去一些繁琐的封装功能(请求参数),使用httpClient (4.2.1)版本,处理的登录

页面解析可以借助regex ,jsoup ,htmlparser ,建议使用正则(要求较高),数据的锁向性准确,性能高。

二、

融入架构的思想,考虑爬取性能,爬取道德,站点处理能力,设计实现分布式爬虫,异步下载,负载均衡。

个人正在处在第二阶段

三 、

经过阶段二,一般商用爬虫都能应对,若打算进一步提高,java的垃圾回收,内存释放,注定性能比不上c,

可根据个人兴趣,用c重写。

crawler_爬虫开发的曲线图

不尽之处,欢迎沟通与交流 ,共同进步。

爬虫技术交流_crawler  QQ群 :167047843