【文件属性】：
文件名称：transformer:应用于时间序列的 Transformer 模型（最初来自 Attention is All You Need）的实现
文件大小：40.93MB
文件格式：ZIP
更新时间：2021-05-29 22:47:20
timeseries metamodel transformer JupyterNotebook
时间序列转换器
Transformer 模型的实现（最初来自 ）应用于时间序列（由提供支持）。
变压器型号
Transformer 是基于注意力的神经网络，旨在解决 NLP 任务。 它们的主要特点是：
特征向量维度的线性复杂度；
序列计算的并行化，而不是顺序计算；
长期记忆，因为我们可以直接查看任何输入时间序列步骤。
这个 repo 将专注于它们在时间序列中的应用。
数据集和应用作为元模型
我们的用例是为建筑能耗预测建模一个数字模拟器。 为此，我们通过对随机输入（建筑特征和使用情况、天气等）进行采样创建了一个数据集，并获得了模拟输出。 然后我们以时间序列格式转换这些变量，并将其提供给转换器。
时间序列的改编
为了在时间序列上表现良好，必须进行一些调整：
嵌入层被通用线性层取代；
原始位置编码被删除。 可以改用“常规”版本，更好地匹配输入序列日/夜模式；
在注意力图上应用一个
【文件预览】：
transformer-master
----setup.py(688B)
----.gitignore(213B)
----training.py(4KB)
----export_doc.py(1KB)
----labels.json(916B)
----requirements.txt(40B)
----src()
--------benchmark.py(5KB)
--------utils()
--------visualization()
--------metrics.py(616B)
--------dataset.py(5KB)
----cross_validation.py(2KB)
----LICENSE(34KB)
----training.ipynb(2.55MB)
----README.md(3KB)
----tst()
--------__init__.py(36B)
--------multiHeadAttention.py(13KB)
--------utils.py(2KB)
--------positionwiseFeedForward.py(1KB)
--------loss.py(1KB)
--------decoder.py(3KB)
--------transformer.py(5KB)
--------encoder.py(3KB)
----learning_curve.py(2KB)
----visualization.ipynb(2.96MB)
----benchmark.ipynb(1.24MB)
----docs()
--------requirements.txt(163B)
--------Makefile(639B)
--------training.ipynb(2.55MB)
--------source()
----search.py(3KB)