【文件属性】：
文件名称：去噪变压器自动编码器
文件大小：181KB
文件格式：ZIP
更新时间：2021-03-03 17:19:06
Python
降噪变压器自动编码器
此回购保存了我对Kaggle竞赛解决方案中的降噪自动编码器部分。
我的大部分工作都花在了训练降噪自动编码器网络上，以捕获输入之间的关系，并将学习到的表示形式用于下游监督模型。
复制单个模型
获取代码并移至代码目录。
按照指定安装python软件包。
下载比赛数据并修改的路径。
在单个GPU机器上运行python train.py并等待大约20个小时。
通过岭回归，其交叉验证的RMSE得分应为0.8412。
关于网络
该网络是一个AutoEncoder网络，中间层是变压器样式的编码器块。
训练网络执行以下两项任务：1）预测数据损坏掩码，2）重建干净的输入。
可以从变压器编码器输出中提取功能以用于下游任务。
网络图如下：
观察与思考过程
获取一个好的DAE。
我首先用(linear->relu) x 3作为中间层的老式自动编码器进行了实验，所学习的表示形
【文件预览】：
Denoise-Transformer-AutoEncoder-main
----.gitignore(38B)
----requirements.txt(74B)
----assets()
--------ac2.png(15KB)
--------c2.png(31KB)
--------diagram.png(61KB)
--------ac1.png(15KB)
--------c1.png(31KB)
--------fig1.png(36KB)
----LICENSE(1KB)
----README.md(6KB)
----util.py(305B)
----model.py(5KB)
----data.py(1KB)
----train.py(3KB)