文件名称：yacy_grid_crawler:YaCy网格的爬网微服务
文件大小：166KB
文件格式：ZIP
更新时间：2024-05-29 02:34:00
Java
YaCy网格组件：爬网程序 YaCy Grid是对等搜索引擎YaCy的第二代实现。 YaCy Grid安装包含一组微服务，这些微服务使用MCP相互通信，请参阅 目的 Crawler是可以部署的微服务，即使用Docker。 启动“爬网程序组件”时，它将搜索MCP并连接到它。 默认情况下，将在本地主机上搜索MCP，但您可以自己配置。 它能做什么 然后，爬网程序会执行以下操作： while (a Crawl Contract is in the queue crawler_pending) do - read the target url from the contract - check against the search index if the url is registered in the transaction index as 'to-be-parsed'. If
【文件预览】：
yacy_grid_crawler-master
----.gitmodules(121B)
----gradlew.bat(3KB)
----bin()
--------stop.sh(521B)
----gradlew(6KB)
----conf()
--------crawler_blacklist_someonewhocares.txt(333KB)
--------crawler_blacklist_localhost.txt(572B)
--------config.properties(3KB)
--------indexer_blacklist_filetypes.txt(222B)
----.github()
--------FUNDING.yml(33B)
----submodules()
--------yacy_grid_mcp()
----gradle()
--------wrapper()
----.settings()
--------org.eclipse.buildship.core.prefs(264B)
--------org.eclipse.jdt.core.prefs(173B)
----src()
--------main()
----.project(572B)
----.classpath(1KB)
----.gitignore(122B)
----README.md(4KB)
----build.gradle(2KB)