文件名称:AMLend2end:AML端到端示例
文件大小:9.12MB
文件格式:ZIP
更新时间:2024-03-01 00:22:28
JupyterNotebook
AML端到端示例 项目描述 该项目演示了端到端管道如何基于生成对抗网络(GAN)和图嵌入来训练二进制反洗钱(AML)分类器。 提议的解决方案包括以下子节: 数据提取-我们将使用生成的交易数据样本 要素存储–我们使用Hopsworks要素存储来计算要素,将其组织为要素组并存储以进行下游分析,例如创建用于模型训练的训练数据集以及检索它们 图嵌入-我们将使用库来计算图嵌入。 异常检测模型-我们将使用适应于表格数据的keras实现。 超参数调整-我们将使用进行超参数调整的实验。 模型服务-我们将使用Hopsworks模型服务器来预测异常交易。 演示数据集 事务数据示例在文件夹./demodata中提供。 将alert_transactions.csv,party.csv和transaction.csv上传到Hopsworks集群中的hdfs:/// Projects / {} / Reso
【文件预览】:
AMLend2end-master
----6_maggy_adversarial_aml.ipynb(14KB)
----demodata()
--------transactions.csv(30.85MB)
--------alert_transactions.csv(25KB)
--------party.csv(151KB)
----2_prep_training_dataset_for_embeddings.ipynb(14KB)
----adversarialaml()
--------notebooks()
--------__init__.py(0B)
--------gan_enc_ano.py(23KB)
----7_train_adversarial_aml.ipynb(13KB)
----8_aml_model_server.ipynb(10KB)
----3_maggy_node_embeddings.ipynb(10KB)
----1_transaction_feature_engineering_ingestion.ipynb(19KB)
----requirements.txt(20B)
----config()
--------hopsworksjobs()
----LICENSE(11KB)
----README.md(2KB)
----airflow_aml_end2end.py(4KB)
----4_compute_node_embeddings.ipynb(10KB)
----.gitignore(62B)
----visualization()
--------graph_visualization.ipynb(277KB)
----5_predict_node_embeddings_and_ingest_to_fs.ipynb(21KB)