前言：
本系列文章是对爬虫的简单介绍，以及教你如何用简单的方法爬取网站上的内容。
需要阅读者对html语言及python语言有基本的了解。
（本系列文章也是我在学习爬虫过程中的学习笔记，随着学习的深入会不断地更新）
爬虫简介：
网络爬虫是一种自动获取网页内容的程序，是搜索引擎的重要组成部分。
网络爬虫先获取某网站的源代码，通过源码解析（如<a><p>标签等）来获得想要的内容。
环境配置：
ubuntu系统（安装方法请自行百度。由于在ubuntu系统下对以下所需的软件安装及运行比windows中方便很多，故我们选用ubuntu系统）
爬虫可用的软件很多，我们选择在ubuntu系统下使用python进行网页爬取，并将爬取下的内容放入mysql数据库中。
所需软件：
python：ubuntu系统自带，无需安装
pip：python包管理工具(需要下载python内的库进行网页爬取，安装pip方便我们对python中库的下载)
scrapy：Python开发的一个快速,高层次的屏幕抓取和web抓取框架。即从web站点爬取信息，读入到本地。
BeautifulSoup：通过标签解析（如<a>,<p>,id,class等）从html或xml文件中提取数据的python库。
mysql：一种关联数据库管理系统，将数据保存在不同的表中，用来存储数据。
软件安装步骤：
使用Ctrl+Alt+T打开命令行
1.pip安装
sudo
apt-get install python-pip
2.scrapy安装
pip
install scrapy
3.beautifulsoup4安装
pip
install beautifulsoup4
4.安装与mysql相关的python库
(1)
pip
install mysql-connector-python
5.安装mysql
(1)
sudo
apt-get install mysql-server
(2)
sudo
apt-get install mysql-client
*注：1.用pip安装时如出现错误，可能是权限不够，最前面加上sudo命令即可。
2.如安装python相关模块中出现'error:command 'gcc' failed with exit status 1'的错误信息，可通过安装如下库解决：
sudo apt-get install python-dev
3.如安装mysql-connector-python时出现error:
Could not find any downloads that satisfy the requirement mysql-connector-python
Some externally hosted files were ignored
(use --allow-external mysql-connector-python to allow).
输入命令
pip install --allow-external mysql-connector-python mysql-connector-python
环境配置是个挺麻烦的工作，要有耐心哦～不同ubuntu系统版本可能会遇到各种奇葩问题，由于个人水平所限，请自行百度(-.-)
如果环境已经配置好了，那么下面我们可以开始爬取网页了^v^