之所以选用Python,是因为对于网络爬虫来说,Python是最好上手的一种语言。本文讲述的安装配置都是基于Windows的环境。
另外我想说的是,文中用到的下载链接尽量官方网站上的下载链接,这是我比较喜欢的下载方式,一方面下载可靠,一方面链接稳定。如果官网要*才能进去的话,为了方便读者操作,就使用百度的下载链接了。
一、Python3安装
首先,下载Python3,这里使用Python3.5.1版本,点击下载:64位版本,32位版本。
双击打开,进行安装。特别注意:要勾选上"Add to Path"选项,否则后面会很麻烦。
打开cmd窗口,测试一下是否真的装好了。
如果刚才安装的时候没有勾选"Add to Path",这个时候可能会报错,这里就不讲解添加环境变量的方法了,建议直接卸载重装。
二、Python3的IDE
现在,Python3的运行环境已经装好了,我们还需要一个IDE。这里建议有两种选择,第一种是Notepad++,第二种是PyCharm。
1. Notepad++
安装完成后,下面说明怎么在Notepad++中安装运行python的插件。
点击"Show Plugin Manager"。
找到PyNPP,点击Install。
安装成功以后,就可以运行Python代码了。
2. PyCharm
这是一个专门给Python编程用的IDE,用起来比Notepad++多的功能基本上就是工程管理和自动补全。一般来说下载Community版本就够用了。安装完成以后就可以使用了。
三、Python3爬虫包安装
这里使用requests和beautifulsoup作为主要的爬虫工具。安装方式很简单。打开cmd,输入这两行代码:
pip install beautifulsoup4
pip install requests
Python3默认会自动安装pip,直接使用即可。
可以用下面一段简单的代码来测试一下这两个包:
# coding : utf-8
import requests
from bs4 import BeautifulSoup r = requests.get("http://news.163.com/")
soup = BeautifulSoup(r.content,'html.parser',from_encoding="gb18030")
for i in soup.find_all('a'):
try:
print(i["href"])
except Exception as e:
pass
几行代码就实现了把网易新闻首页的所有链接都提取出来了。是不是很方便?
要了解更多关于这两个包的知识可以去看官方文档,写的非常清楚。
至此,我们已经配置好了需要的所有爬虫工具,后面会详细介绍怎么在项目中使用。
拓展阅读:其实Python可以使用的爬虫包还有很多,这里使用的是requests,其实对于一些有网页动态代码抓取需求的还可以使用selenium。可以参考我的另一篇博客python3初识selenium。