文件名称：algolia-webcrawler:简单的节点工作程序，可对站点地图进行爬网，以使algolia索引保持最新状态
文件大小：36KB
文件格式：ZIP
更新时间：2024-06-02 08:07:59
javascript search-engine algolia indexing webcrawler
阿尔及利亚Webcrawler
简单节点工作程序，可对站点地图进行爬网，以使索引保持最新状态。
它使用简单CSS选择器来查找要索引的实际文本内容。
该应用程序使用。
TL; DR
配置选项
存储对象
索引编制
执照
用法
该脚本应通过crontab运行，以便定期抓取整个网站。
先决条件
至少有一个有效的sitemap.xml网址，其中包含您要建立索引的所有网址。
站点地图必须至少包含
【文件预览】：
algolia-webcrawler-master
----.github()
--------workflows()
----lib()
--------process.js(8KB)
--------sitemap.js(2KB)
--------pingback.js(2KB)
--------plugins.js(625B)
--------dns-cache.js(530B)
----.npmignore(36B)
----app.js(10KB)
----.travis.yml(219B)
----LICENSE(1KB)
----test()
--------process.js(1KB)
--------defaults.js(868B)
--------sitemap.js(364B)
--------parse.js(3KB)
--------index.js(199B)
--------types.js(4KB)
----config.json(900B)
----README.md(9KB)
----.appveyor.yml(698B)
----.gitignore(542B)
----package-lock.json(56KB)
----package.json(1KB)