文件名称：scrapeulous:Cloud Crawler功能可扩展
文件大小：31KB
文件格式：ZIP
更新时间：2024-05-28 20:08:24
JavaScript
云爬虫 该存储库包含使用的器功能。 如果您想添加自己的搜寻器功能以在scrapeculous的搜寻基础结构中使用，请通过contact与我们。 该API有三个不同的端点： / crawl-此端点允许您从任何URL获取HTML。 您可以使用浏览器或简单的HTTP请求。 / serp-此终结点可让您抓取多个不同的搜索引擎，例如Google，Bing或Amazon。 / custom-此端点允许您在自定义Puppeteer类中指定自己的搜寻器逻辑。 有关完整的文档，请访问。
【文件预览】：
scrapeulous-master
----custom()
--------nytimes.js(1KB)
--------reverse_image_google_url.js(3KB)
--------reverse_image_google_final.js(6KB)
--------reverse_image_google.js(5KB)
--------reverse_image_bing_url.js(2KB)
--------reverse_image_google_dataimg.js(4KB)
--------screenshot.js(717B)
--------pdf.js(784B)
--------social.js(6KB)
--------reverse_image_bing.js(2KB)
----.idea()
--------misc.xml(172B)
--------workspace.xml(6KB)
--------encodings.xml(135B)
--------inspectionProfiles()
--------modules.xml(284B)
--------codeStyles()
--------vcs.xml(167B)
----README.md(764B)
----.gitignore(36B)
----crawl()
--------http.js(144B)
--------render.js(1KB)
----serp()
--------amazon.js(2KB)
--------google_scraper.js(21KB)
--------bing_scraper.js(25KB)