2.1 Python3.5安装以及爬虫需要的环境配置

时间:2022-08-03 17:27:31

之所以选用Python,是因为对于网络爬虫来说,Python是最好上手的一种语言。本文讲述的安装配置都是基于Windows的环境。

另外我想说的是,文中用到的下载链接尽量官方网站上的下载链接,这是我比较喜欢的下载方式,一方面下载可靠,一方面链接稳定。如果官网要*才能进去的话,为了方便读者操作,就使用百度的下载链接了。

一、Python3安装

首先,下载Python3,这里使用Python3.5.1版本,点击下载:64位版本32位版本

2.1 Python3.5安装以及爬虫需要的环境配置

双击打开,进行安装。特别注意:要勾选上"Add to Path"选项,否则后面会很麻烦。

打开cmd窗口,测试一下是否真的装好了。

2.1 Python3.5安装以及爬虫需要的环境配置

如果刚才安装的时候没有勾选"Add to Path",这个时候可能会报错,这里就不讲解添加环境变量的方法了,建议直接卸载重装。

二、Python3的IDE

现在,Python3的运行环境已经装好了,我们还需要一个IDE。这里建议有两种选择,第一种是Notepad++,第二种是PyCharm。

1. Notepad++

  Notepad++下载地址

  安装完成后,下面说明怎么在Notepad++中安装运行python的插件。

  2.1 Python3.5安装以及爬虫需要的环境配置

  点击"Show Plugin Manager"。

  2.1 Python3.5安装以及爬虫需要的环境配置

  找到PyNPP,点击Install。

  2.1 Python3.5安装以及爬虫需要的环境配置

  安装成功以后,就可以运行Python代码了。

2. PyCharm

  PyCharm下载地址

  这是一个专门给Python编程用的IDE,用起来比Notepad++多的功能基本上就是工程管理和自动补全。一般来说下载Community版本就够用了。安装完成以后就可以使用了。

三、Python3爬虫包安装

这里使用requests和beautifulsoup作为主要的爬虫工具。安装方式很简单。打开cmd,输入这两行代码:

pip install beautifulsoup4
pip install requests

Python3默认会自动安装pip,直接使用即可。

可以用下面一段简单的代码来测试一下这两个包:

# coding : utf-8
import requests
from bs4 import BeautifulSoup r = requests.get("http://news.163.com/")
soup = BeautifulSoup(r.content,'html.parser',from_encoding="gb18030")
for i in soup.find_all('a'):
try:
print(i["href"])
except Exception as e:
pass

几行代码就实现了把网易新闻首页的所有链接都提取出来了。是不是很方便?

要了解更多关于这两个包的知识可以去看官方文档,写的非常清楚。

requests文档

beautifulsoup文档

  至此,我们已经配置好了需要的所有爬虫工具,后面会详细介绍怎么在项目中使用。

  拓展阅读:其实Python可以使用的爬虫包还有很多,这里使用的是requests,其实对于一些有网页动态代码抓取需求的还可以使用selenium。可以参考我的另一篇博客python3初识selenium