文件名称：crawler:一个用go编写的简单网络爬虫
文件大小：10KB
文件格式：ZIP
更新时间：2024-06-26 03:38:39
Go
Crawl 是一个用 go 编写的简单的网络爬虫。 crawler --help Usage of ./crawler: -assets=false: show page assets in sitemap output -concurrency=10: number of concurrent requests -insecure=false: ignore invalid site certificates -links=false: show page links in sitemap output -url="https://example.com": url to crawl crawler -links=true -assets=true -concurrency=20 -url=http://example.com / . /stylesheets
【文件预览】：
crawler-master
----pool.go(231B)
----page.go(2KB)
----crawler.go(2KB)
----page_test.go(2KB)
----init.go(762B)
----TODO.md(101B)
----LICENSE(1KB)
----test()
--------test.html(790B)
----README.md(570B)
----fetch.go(2KB)
----sitemap_test.go(1KB)
----pool_test.go(186B)
----crawler_test.go(1KB)
----.gitignore(288B)
----fetch_test.go(1KB)
----sitemap.go(3KB)