爬虫入门之错误总结(二)保存数据之间出现空行以及设置csv文件标题行

时间:2024-03-22 07:07:18

经过之前的两个爬虫案例学习,相信大家对爬虫已经有了一个非常清晰的认识。前面的爬虫教程主要是通过requests,etree,csv来编写爬虫,后续也会更新一些新的爬虫内容,以及通过Scrapy框架来写的爬虫。
从今天开始,我会不定期的更新,写爬虫时遇到的坑以及细节问题。我,解决了这些问题之后就会让爬虫看起来更加舒服。
今天我们主要来解决一下,我们保存的数据之间出现空行以及设置数据标题行的问题
一、保存数据之间出现空行怎么办?

  • 这个问题的解决方法很简单,在open()中加个newline参数即可,上代码:
with open('DouBanMovieT250.csv','a+',encoding='utf-8',newline='') as fp:

这样我们爬取下来的内容之间就不会有空行了,看起来会舒服很多。
爬虫入门之错误总结(二)保存数据之间出现空行以及设置csv文件标题行
二、设置CSV文件标题行

  • 如果我们爬下来的只有数据,没有标题,这样看起来不会十分清楚。如果我们加上标题,就知道每一列是什么,这样我们爬取下来的数据就会非常规范。
    现在我们就来设置标题。
headers = ['电影名称','导演','主演','上映时间','国家']

writer.writerow(headers)

以上代码我们就可以写出标题行内容。完整代码;

    headers = ['电影名称','导演','主演','上映时间','国家']
    with open('DouBanMovieT250.csv','a+',encoding='utf-8-sig',newline='') as fp:
        writer = csv.writer(fp)
        writer.writerow(headers)
        for key in infos:
            writer.writerow([key['movieName'],key['director'],key['actors'],key['time'],key['country']])

这样,我们爬取下来的内容就非常规范整齐了!
爬虫入门之错误总结(二)保存数据之间出现空行以及设置csv文件标题行