文件名称:voe:可扩展数据收集器的参考设计
文件大小:15KB
文件格式:ZIP
更新时间:2024-08-02 17:06:26
Python
可扩展的数据收集器 注意 此代码并不打算在生产中使用的,谁想要建立自己的分布式数据收集基础代码,但只是一个参考。 此代码在错误处理方面存在缺陷,并且许多代码片段采用单一格式。 冷静地阅读所有文件 讲座幻灯片 设置 第一步是配置.env文件,这个项目的一些组件使用的信息应该在那里。 查看必须配置的内容: KEY_NAME =seu@email.net AWS_ACCESS_KEY =access_key AWS_SECRET_KEY =secret_key KEY_PASS =key_pass REGION =us-east-1 DEFAULT_INSTANCE_ID =ami-9eaa1cf6 INSTANCE_SIZE =m3.medium DEFAULT_SECURITY_GROUP =default SSH_USER =ubuntu PARAMIKO_DEBUG =True
【文件预览】:
voe-master
----worker.py(4KB)
----.gitignore(28B)
----voe()
--------scheduler.py(523B)
--------__init__.py(0B)
--------producer.py(1KB)
--------backend()
--------util.py(4KB)
--------queue.py(933B)
----my_aws.py(3KB)
----requirements.txt(110B)
----run.py(2KB)
----terminate.py(742B)
----.env(303B)
----setup_instances.py(2KB)
----env()
--------master.conf(176B)
--------worker.conf(173B)
--------sink.conf(169B)
----README.md(3KB)
----sink.py(449B)
----runner.py(3KB)
----env_setup.sh(913B)