文件名称:stats-pipeline:包含处理M-Lab数据并以各种格式提供以供其他使用的代码
文件大小:118KB
文件格式:ZIP
更新时间:2024-05-06 14:17:53
Go
统计管道服务 该存储库包含处理NDT数据的代码,并每天为标准的全球和某些国家/地区提供汇总指标。 生成的聚合以JSON格式可用,供其他应用程序使用。 stats-pipeline服务用Go编写,在GKE上运行,并生成和更新每日汇总统计信息。 可以在公共BigQuery表中以及以GCS托管的JSON格式(每年)中提供访问权限。 统计管道服务提供的文档 (本文档) stats-pipeline服务,提供的字段(架构),输出格式,可用的地理位置以及API URL结构的概述。 有关所有NDT数据汇总的一般建议 一般而言,对汇总无损检测数据的研究是: 不要过分简化 除时间/日期和位置外,还按ASN汇总 注意并说明多峰分布 使用直方图和对数刻度 考虑并补偿客户偏见和人口漂移 路线图 下面我们列出了其他功能,方法,地理位置等,这些可能会在stats-pipeline未来版本中考虑。 地域 美国邮政编
【文件预览】:
stats-pipeline-master
----go.mod(322B)
----go.sum(49KB)
----create_statistics_api.sh(4KB)
----cors-settings.json(115B)
----histogram()
--------table.go(4KB)
--------table_test.go(5KB)
----Dockerfile(574B)
----k8s()
--------data-processing()
----config()
--------config.go(466B)
----LICENSE(11KB)
----exporter()
--------exporter_test.go(10KB)
--------exporter.go(16KB)
----pipeline()
--------handlers_test.go(4KB)
--------testdata()
--------headers.go(136B)
--------handlers.go(6KB)
----config.json(5KB)
----README.md(2KB)
----statistics()
--------scripts()
--------queries()
--------exports()
----docs()
--------api-structure.md(4KB)
--------format-schema.md(5KB)
--------geo-precision.md(1KB)
--------stats-overview.md(5KB)
----maptiles()
--------Dockerfile(1KB)
--------scripts()
--------README.md(3KB)
--------Makefile(7KB)
--------run-pipeline.sh(721B)
--------package-lock.json(49KB)
--------package.json(652B)
----.gitignore(24B)
----cloudbuild.yaml(3KB)
----cmd()
--------stats-pipeline()