Python+sqlite爬虫之实践

主题：爬取某网站的招聘信息，然后存进Sqlite数据库。

环境准备：

Python3.5

Sqlite

Navicat for SQLite（方便查看）

步骤：

一、安装Sqlite

下载地址：http://www.sqlite.org/download.html

这里是window 10系统，所以找到Precompiled Binaries for Windows下的sqlite tools下载，解压后将**sqlite3.exe**放到python的安装目录下既可

二、初始化Sqlite数据库

1、在d:\study\spyder目录下新建job_model.py文件

 1 from peewee import *
 2 
 3 db = SqliteDatabase('job.db')
 4 
 5 class Job(Model):
 6     job_id = IntegerField(unique=True)    #key
 7     salary_min = IntegerField()
 8     salary_max = IntegerField()
 9     job_exp = CharField(max_length=100)
10     company = CharField(max_length=100)
11     company_id = IntegerField()
12     company_info = CharField(max_length=100)
13     url = CharField(max_length=100)
14     attract = CharField(max_length=100)
15     detail = TextField()
16     address = CharField(max_length=100)
17     publish_time = DateField()
18     keyword = CharField(max_length=100)
19     city = CharField(max_length=100)
20     position = CharField(max_length=100)
21     create_time = DateTimeField()
22 
23     class Meta:
24         database = db

2、在d:\study\spyder目录下的命令行中依次输入，也就是job_model.py所在的目录

```
python -i job_model.py
db.connect()
db.create_tables([Job])
```

如果此目录下没有job.db文件，则新建一个，并且新建一张名job的表，表结构如job_model.py所设计那样。

如果此目录已有job.db文件，则在原有的数据上新建一张名job的表。

此时，可以用Navicat连接job.db数据库查看，是否新增了表job

三、如何用python将数据写入Sqlite？

这里将用到python的第三方库peewee，在命令行输入pip3 install peewee进行安装

from spyder.job_model import Job
import peewee

class spyder: 

    ......
　　# 这里传入参数是一个字典
def storeDataToSqlite(self, dic):
try:
            Job.create(job_id = dic['job_id'],
                        salary_min = dic['salary_min'],
                        salary_max = dic['salary_max'],
                        company = dic['company'],
                        company_id = 0,　　#先设为0
                        company_info = dic['company_info'],
                        url = dic['url'],
                        attract = dic['attract'],
                        detail = dic['detail'],
                        address = dic['address'],
                        publish_time = dic['publish_time'],
                        keyword = dic['keyword'],
                        city = dic['city'],
                        job_exp = dic['exp'],
                        position = dic['position'],
                        create_time = self.today_date)

except peewee.IntegrityError:
print("数据插入错误:ID：%s，公司：%s已经存在" % (dic['job_id'],dic['company']))

四、新建一个spyder_job.py文件，开始设计编码

方案一：用requests库+BeautifulSoup

方案二：用selenium 3+Chrome

思路：搜索城市、招聘关键字 --》页码--》爬一个一个招聘的URL --》重复一个一个招聘页 --》重复爬取信息 --》重复写入数据库

五、用Navicat连接job.db数据库查看表job，是否新增了数据

秒客网

Python+sqlite爬虫之实践

相关文章