python3实战scrapy生成csv文件

时间：2024-11-13 07:06:33

python3使用scrapy做一个小项目，我会写两篇文章这是第一篇生成本地的csv文件，第二篇为数据保存到MySQL数据库中。

爬去腾讯招聘网的信息，这个小项目有人做过，本着一个新手学习的目的，所以自己也来做着玩玩，大家可以参考一下。

这里使用的是调用cmdline命令来生成csv文件，而不是import csv模块。

from scrapy import cmdline
("scrapy crawl field -o  -t csv".split())
这段代码我保存在一个自建的.py文件中，然后在主文件中调用这个模块，这样就不用每次在cmd中敲命令了，大家可以使用这种方法我觉得很方便的。


进入正题（获取腾讯招聘网的信息/）：



保存的csv文件内容：




我们需要获取的数据首先应该使用scrapy的items容器记录下来：

import scrapy

class GetItem():
	name = ()       #招聘单位
	genre = ()      #招聘类型
	number = ()     #招聘人数
	place = ()      #招聘地点
	time = ()       #招聘时间
以上为我们等一下需要获取的信息


然后我们新建spider文件来编写爬去网站的代码：

# _*_ coding:utf-8 _*_
import scrapy
from  import Request
from time import sleep
import os
import sys
("D:\PYscrapy\get_Field")  #我使用这种路径添加的方式来调用GetItem函数和main函数
from get_Field.items import GetItem
import main   #main函数开头就说了两行调用程序的代码，你也可以在cmd中使用scrapy crawl field -o  -t csv来调用。主要是方便

class Tencentzhaopin():
	name = "field"    #这个程序要执行的唯一标识名  可以自己设置
	start_urls = ["/?&start=0#a"]  #首页网址
	url = "/"  #由于有翻页操作所以我们设置翻页前缀，等一下获取后缀
	count = 0
	names = []       #这五个列表记录我们获取的信息
	genres = []
	numbers = []
	places = []
	times = []
	filename = ""   #保存的文件名
	if (filename) == True:    #判断这个文件是否已经存在文件夹中，有就移除掉。
		(filename)

	def parse(self,response):
		 += 1  #设置我们需要爬去多少页，不设置的话会有几百页需要爬取
		name = ('//table//td[@class="l square"]//a//text()').extract()
		#通过xpath方法获取我们需要的内容，再使用extract()抽取器获取到
		for i in name:        #利用循环将每一次的内容存入我们上面设置的列表中去，方便后面存入csv文件（下面4个类似）
			(i)
		genre = ('//table//tr[not(@class="h")]//td[2][not(@align="center")]//text()').extract()
		for i in genre:
			(i)
		number = ('//table//tr[not(@class="h")]//td[3][not(@align="center")]//text()').extract()
		for i in number:
			(i)
		place = ('//table//tr[not(@class="h")]//td[4][not(@align="center")]//text()').extract()
		for i in place:
			(i)
		time = ('//table//tr[not(@class="h")]//td[5][not(@align="center")]//text()').extract()
		for i in time:
			(i)

		new_url = ('//*[@]//@href').extract()
		#前面我们说过需要翻页操作，所以这里是获取到翻页的后缀
		new_url = +new_url[0]  #再与前缀结合，获取到一个完整的下一页链接
		sleep(0.5)  #我们设置一个翻页的时间，太快了不好。。。。（我是这样想的）

		#下面就是信息存入items容器
		for i in range(len()):  #for循环列表的长度，获取到所有信息
			info = GetItem()   #实例一个类info用来保存数据
			info["name"] = [i]        #将每一个属性列表中的每一个数据保存依次保存到info中去
			info["genre"] = [i]
			info["number"] = [i]
			info["place"] = [i]
			info["time"] = [i]
			yield info  #这个yield注意了，嗯，这就很舒服了
			#我们将每一次保存的数据返回，但是返回了我们还需要程序继续执行，所以使用yield函数返回后继续执行

		if <=20:
			yield Request(url=new_url,callback=)
			#如果满足20页以内，我们callback返回下一页的链接继续到parse这个默认函数，

以上是spider中的代码。


其实实现这个代码不难，唯一有一点小疑惑的地方可能就是第一个yield的使用，一开始我是使用调用一个新的函数，然后在里面实现值的返回，但是麻烦还有一点小问题，所以这里我们就是用这种简单的方式就行了，yield将每次循环的数据返回，返回后再继续执行循环。

初学者可以相互学习，有什么不足的可以提出。




相关文章