经过之前的两个爬虫案例学习,相信大家对爬虫已经有了一个非常清晰的认识。前面的爬虫教程主要是通过requests,etree,csv来编写爬虫,后续也会更新一些新的爬虫内容,以及通过Scrapy框架来写的爬虫。
从今天开始,我会不定期的更新,写爬虫时遇到的坑以及细节问题。我,解决了这些问题之后就会让爬虫看起来更加舒服。
今天我们主要来解决一下,我们保存的数据之间出现空行以及设置数据标题行的问题
一、保存数据之间出现空行怎么办?
- 这个问题的解决方法很简单,在open()中加个newline参数即可,上代码:
with open('DouBanMovieT250.csv','a+',encoding='utf-8',newline='') as fp:
这样我们爬取下来的内容之间就不会有空行了,看起来会舒服很多。
二、设置CSV文件标题行
- 如果我们爬下来的只有数据,没有标题,这样看起来不会十分清楚。如果我们加上标题,就知道每一列是什么,这样我们爬取下来的数据就会非常规范。
现在我们就来设置标题。
headers = ['电影名称','导演','主演','上映时间','国家']
writer.writerow(headers)
以上代码我们就可以写出标题行内容。完整代码;
headers = ['电影名称','导演','主演','上映时间','国家']
with open('DouBanMovieT250.csv','a+',encoding='utf-8-sig',newline='') as fp:
writer = csv.writer(fp)
writer.writerow(headers)
for key in infos:
writer.writerow([key['movieName'],key['director'],key['actors'],key['time'],key['country']])
这样,我们爬取下来的内容就非常规范整齐了!