anomaly-detection:使用多元高斯分布和 Apache Spark MLlib 的异常检测示例

时间:2024-06-25 16:02:42
【文件属性】:

文件名称:anomaly-detection:使用多元高斯分布和 Apache Spark MLlib 的异常检测示例

文件大小:11KB

文件格式:ZIP

更新时间:2024-06-25 16:02:42

Scala

使用多元高斯分布的异常检测 使用多元高斯分布和Apache Spark MLlib 的异常检测示例 描述 这是使用多元高斯分布的异常检测算法的相当简单的示例。 它从数据集中计算mu向量和sigma2矩阵,并将它们作为参数传递给 Spark MLlib MultivariateGaussian以获得每个数据向量的概率密度。 然后使用交叉验证数据集,它尝试使用F1 score指标找到最佳epsilon值。 具有最佳 epsilon 值,它会找出异常值并打印结果。 应用程序需要四个参数: 数据文件路径:包含m示例的mxn矩阵,其中每行是一个n维特征向量 包含交叉验证数据集的文件路径,其中每一行是一个n维特征向量 包含上述交叉验证数据集每一行显式分配结果的文件路径,其中0正常数据, 1表示异常 输出目录路径 输出: 应用程序在输出目录下创建三个子目录(指定为输入参数): /ps包含每个数据


【文件预览】:
anomaly-detection-master
----project()
--------build.properties(18B)
--------assembly.sbt(57B)
----example()
--------src()
----LICENSE(11KB)
----build.sbt(3KB)
----README.md(2KB)
----.gitignore(225B)

网友评论