文件名称：crawlab-go-sdk
文件大小：31KB
文件格式：ZIP
更新时间：2024-04-15 03:58:44
Go
Crawlab Go SDK Crawlab Go SDK支持将基于Golang的Spider与Crawlab集成。 它包含许多API，包括将爬网的项目保存到不同的数据源中，包括MongoDB，MySQL，Postgres，ElasticSearch和Kafka。 基本用法 package main import ( "github.com/crawlab-team/crawlab-go-sdk" "github.com/crawlab-team/crawlab-go-sdk/entity" ) func main () { item := entity. Item {} item [ "url" ] = "http://example.com" item [ "title" ] = "hello world" _ = crawlab . SaveIt
【文件预览】：
crawlab-go-sdk-main
----constants()
--------data_source.go(235B)
--------dedup.go(98B)
----go.mod(456B)
----main.go(673B)
----utils()
--------exist.go(939B)
--------notify.go(1KB)
--------data_test.go(3KB)
--------file.go(279B)
--------data.go(4KB)
--------config.go(778B)
----go.sum(40KB)
----database()
--------sql.go(4KB)
--------mongo.go(2KB)
--------es.go(1KB)
--------kafka.go(989B)
----LICENSE(1KB)
----README.md(2KB)
----entity()
--------data_source.go(731B)
--------item.go(49B)
----CHANGELOG.md(213B)
----datapool()
--------sftp.go(1KB)
--------config.go(532B)