【文件属性】:
文件名称:logsearch-for-aws:在您的logsearch部署中摄取并解析您的AWS日志(计费,CloudTrail等)
文件大小:57KB
文件格式:ZIP
更新时间:2021-05-15 11:58:24
Shell
log-for-aws
一个BOSH版本,可帮助您提取,解析和可视化AWS日志。
关于
我们目前可以处理这些日志类型...
我们依赖一个看起来像...的流程
AWS将新日志转储到S3存储桶中
您的S3存储桶向有关此问题的SQS主题发送通知
s3-notification作业等待有关该SQS主题的消息
它从S3下载日志文件并对其内容进行规范化
事件被推送到Redis队列中
您的常规logsearch集群将负责其余的工作
我们喜欢此设置,因为...
可以继续添加对所有AWS日志格式的支持
可以重用我们现有的logsearch基础架构来解析和搜索日志事件
使用队列比在整个存储桶路径中查看新文件具有更大的可扩展性
用法
在开始之前,您必须在AWS中设置以下内容...
IAM凭据,可以使队列工作并下载引用的S3文件()
针对您使用的日志类型和文件的单独SQS队列和S3通知()
获取并安装我
【文件预览】:
logsearch-for-aws-master
----.gitignore(147B)
----src()
--------logsearch-config()
--------aws-helper()
--------.gitkeep(0B)
--------replay-helper()
--------scripts()
----bin()
--------logsearch-config(214B)
----LICENSE(11KB)
----packages()
--------l4aws-jq()
--------java7()
--------logstash()
--------l4aws-scripts()
----examples()
--------bosh-lite.yml(2KB)
----README.md(4KB)
----jobs()
--------s3-notification()
----config()
--------final.yml(118B)
----test()
--------scripts()