python初学者也能搞定微信公众号爬取

时间:2022-06-09 00:37:28

微信公众号爬取,网上的东西很多。

这里主要分两个阶段

1. 把公众号的文章URL爬取并保存下来。

2. 根据这些URL把内容下载下来。

把URL 爬取下来

这里采用了,微信公众平台的方法,也就是你先申请一个公众号啊,能登录微信公众平台啊。自己的这个公众号发文章的时候,超链接,可以选择别人微信公众号,搜索相关的文章啊,也就是从这里能够拿到相关的url。

我们利用这个senium,扫码登录后,就把相关的cookie存下来。

参考了​​https://www.cnblogs.com/xiao-apple36/p/9447877.html​​, 代码也主要是这里的啊。

写的很清楚,可以仔细看一看。

感谢 一只小小的寄居蟹

下载生成PDF

经过一圈的捣鼓啊,开始用import pdfkit 还是能用的啊,内容下载的也挺顺利的。(对付静态的网页)

现在这个微信改了,看起来都js了,这个pdfkit下载下来就基本空白了啊。

怎么办呢?

我们不是有senium么,用这个神器啊。

全部pagesource

driver = webdriver.Chrome()

driver.get(url)

html_content = driver.page_source

可以只要txt

html_content = driver.find_element(By.CLASS_NAME, "rich_media").text

捣鼓了一下 weasyprint

from weasyprint import HTML

html1 = HTML(string = html_content)

#html1 = HTML(filename = './page_content.html')

html1.write_pdf('test.pdf')

最后用了pyhtml2pdf

from pyhtml2pdf import converter

converter.convert(url, 'test2.pdf', timeout=2)

这个生产 PDF还是比较快的啊,推荐使用。

到此,简易版本就做完了,下载了想下的公众号。

用pyinstaller 在windows上打包了一个exe文件,放在了微信公众号 “随意都是朋友”

关注发送“wecrawler”,领取。

欢迎联系此公众号交流。

再次感谢一只小小的寄居蟹

python初学者也能搞定微信公众号爬取