文件名称：NESgpu:自然进化策略的pytorch GPU实现增强型随机搜索
文件大小：43KB
文件格式：ZIP
更新时间：2024-05-28 09:28:56
Python
内斯普 自然进化策略/增强随机搜索的优化PyTorch GPU实施 NESgpu定义了Perturbed类，该类简化了NES和类似训练算法的噪声采样和权重更新过程。 它直接允许批量培训，与非批量实现相比，性能提高2-100倍（请参见下文）。 NESgpu还包含用于批处理二进制乘法和卷积的有效实现。 但是，一些基本测试表明，使用NES不容易训练二进制神经网络。 当前定义的图层 PerturbedLinear / PerturbedConv2d是“默认”实现，它将高斯噪声添加到其权重中。 需要大量内存来存储高斯噪声。 SparsePerturbedLinear是稀疏高斯噪声的测试演示。 在MNIST上进行的一些基本测试显示出极度稀疏的不良影响。 PermutedLinear / PermutedConv2d以混洗的方式对所有总体成员重用单个高斯噪声矢量。 它速度快，内存开销低。 它引入了
【文件预览】：
NESgpu-master
----culetest.py(6KB)
----mnisttest.py(8KB)
----models()
--------mnistmodels.py(4KB)
--------models.py(2KB)
--------cifar10models.py(8KB)
----modules()
--------base.py(34KB)
--------binary.py(8KB)
----modulesBinarytests.py(1KB)
----extensions()
--------booleanOperations.py(9KB)
--------src()
--------booleanUtilities.cpp(2KB)
--------booleanUtilitiesCuda.cu(9KB)
--------booleanOperations.cpp(4KB)
--------booleanOperationsCuda.cu(21KB)
----moduletests.py(20KB)
----LICENSE(1KB)
----README.md(11KB)
----booloptests.py(16KB)
----cifar10test.py(9KB)
----timing.py(237B)