微信公众号爬取,网上的东西很多。
这里主要分两个阶段
1. 把公众号的文章URL爬取并保存下来。
2. 根据这些URL把内容下载下来。
把URL 爬取下来
这里采用了,微信公众平台的方法,也就是你先申请一个公众号啊,能登录微信公众平台啊。自己的这个公众号发文章的时候,超链接,可以选择别人微信公众号,搜索相关的文章啊,也就是从这里能够拿到相关的url。
我们利用这个senium,扫码登录后,就把相关的cookie存下来。
参考了https://www.cnblogs.com/xiao-apple36/p/9447877.html, 代码也主要是这里的啊。
写的很清楚,可以仔细看一看。
感谢 一只小小的寄居蟹
下载生成PDF
经过一圈的捣鼓啊,开始用import pdfkit 还是能用的啊,内容下载的也挺顺利的。(对付静态的网页)
现在这个微信改了,看起来都js了,这个pdfkit下载下来就基本空白了啊。
怎么办呢?
我们不是有senium么,用这个神器啊。
全部pagesource
driver = webdriver.Chrome()
driver.get(url)
html_content = driver.page_source
可以只要txt
html_content = driver.find_element(By.CLASS_NAME, "rich_media").text
捣鼓了一下 weasyprint
from weasyprint import HTML
html1 = HTML(string = html_content)
#html1 = HTML(filename = './page_content.html')
html1.write_pdf('test.pdf')
最后用了pyhtml2pdf
from pyhtml2pdf import converter
converter.convert(url, 'test2.pdf', timeout=2)
这个生产 PDF还是比较快的啊,推荐使用。
到此,简易版本就做完了,下载了想下的公众号。
用pyinstaller 在windows上打包了一个exe文件,放在了微信公众号 “随意都是朋友”
关注发送“wecrawler”,领取。
欢迎联系此公众号交流。
再次感谢一只小小的寄居蟹