刮板机

时间:2024-03-02 22:14:30
【文件属性】:

文件名称:刮板机

文件大小:10KB

文件格式:ZIP

更新时间:2024-03-02 22:14:30

JupyterNotebook

这是v4。 v3(Colab文件)比v2(Dash和Heroku应用程序)快得多,但我想使其更快。 我注意到,一旦为当天设置了菜单,它就不会更改,因此我不得不利用这一点,找到一种每天运行一次代码并按用途运行其他代码的方法。 我调查了AWS Lambda和Google Cloud Scheduler,但无法弄清楚。 我最终选择了WayScript。 目录“ Daily Lambda”(不是真正的Lambda,我知道)中的代码每天凌晨12点01分运行(11月4日更新:现在,它每小时运行一次,以防菜单被更改)。 它执行Web抓取,将其存储为数据框,然后将数据框作为csv提交给scraped.txt。 每次使用都会运行主目录中的Colab ipynb文件。 它从scraped.txt生成数据帧,并插入准确的“ isOpen”列。 一旦Colab连接到运行时,这几乎是瞬时的。 Colab仍位于


【文件预览】:
MDining-Scraper-master
----README.md(2KB)
----scraped.txt(11KB)
----Daily Lambda()
--------daily.py(2KB)
--------requirements.txt(61B)
----MDining_Scraper_v4.ipynb(31KB)

网友评论