（1）神经发生实现过程图示
- 图1A 展示了在实验中使用的卷积神经网络（CNN）的结构示意图。这个CNN包含多个卷积层和池化层，以及随后的全连接层。输入层接收32x32像素的RGB图像，然后通过卷积层和池化层提取特征，最后通过全连接层进行分类。
- 图1B 描述了如何在CNN中实施替换/更替（replacement/turnover）类型的神经发生。在这个过程中，全连接层中随机选择的一小部分神经元的权重会被重新初始化，模拟新神经元的整合。这种模拟不影响网络的整体大小，但改变了网络的连接模式。
- 图1C 说明了在训练过程中如何进行带有神经发生的训练，以及在测试时不进行任何神经发生的事件。训练时，每隔一定数量的 minibatch 更新，就会执行一次神经发生的权重重置。而在测试阶段，不进行任何权重的重置或神经元的更替。
（2）训练准确率和测试准确率的对比实验
- 图2A 展示了对照网络（未引入神经发生）和神经发生网络（引入了神经发生）在训练后的测试准确率的箱线图。箱线图显示了数据的分布和中位数，同时t检验的结果显示神经发生网络的测试准确率显著高于对照网络。
- 图2B 通过小提琴图展示了对照组和神经发生组在最低分（左侧）和最高分（右侧）的得分分布。小提琴图提供了更详细的信息，显示了每个分数的频率分布。t检验结果表明，无论是在最低分还是最高分的网络中，引入神经发生都能显著提高性能。
- 图2C 示意了如何在神经发生网络中实现新神经元的增强兴奋性。通过将新神经元的激活乘以一个兴奋性因子c，来模拟新神经元的高兴奋性。
- 图2D 展示了对照网络、神经发生网络以及增强兴奋性的神经发生网络在测试准确率上的箱线图。ANOVA（方差分析）和Tukey’s HSD（Tukey诚实显著性差异）测试表明，引入神经发生和增强兴奋性的网络在性能上均优于对照网络。
- 图2E 展示了对照组和神经发生组在训练结束时的训练准确率的箱线图。t检验结果显示，尽管神经发生网络在训练准确率上有所下降，但这种差异是显著的。
- 图2F 展示了在训练过程中对照网络和神经发生网络的验证损失变化。这有助于观察模型在训练过程中的泛化能力。
实验结论：
引入神经发生的网络，在训练准确率上略有下降，但是在测试准确率高于未引入神经发生的对照网络，这表明神经发生通过正则化效应提高了网络的泛化能力。
（3）与其他正则化方法相比较
- 图3A 展示了Dropout正则化方法：在每次前向传播过程中，随机地停用一部分神经元及其权重。
- 图3B 展示了权重衰减（Weight decay）：在损失函数中添加一个小的惩罚项，这个惩罚项会惩罚大的权重值，导致大的权重随时间衰减。
- 图3C 展示了神经噪声（Neural noise）：在每一层的激活值中添加高斯噪声。
- 图3D 展示了神经发生（Neurogenesis）与其他正则化方法（包括Dropout、权重衰减和神经噪声）相比的测试准确率的箱线图。方差分析（ANOVA）和Tukey’s HSD测试结果表明，神经发生与传统的对照组相比有显著提高，与Dropout相比没有显著差异，但与权重衰减和神经噪声相比则有显著提高。
- 图3E 展示了使用组合正则化方法的网络相对于仅使用神经发生的网络的测试性能的热图。z分数表示性能的变化，热图显示了不同组合方法的性能差异。
- 图3F 展示了使用较低参数值的Dropout（0.1）和神经发生（每1000次更新更替一次）组合时的性能图。方差分析显示，这种组合方法并没有比单独使用神经发生的方法有更好的性能。
实验结论：
神经发生作为一种正则化手段，在提高CNN的测试准确率方面与传统的Dropout方法相当，并且优于权重衰减和神经噪声方法。这表明神经发生可以作为一种有效的正则化技术，提高模型的泛化能力。当使用组合正则化方法时，例如同时使用神经发生和Dropout，并没有观察到性能的进一步提升。这可能表明，这些正则化方法的组合并不总是带来累加的效果，甚至可能相互抵消。在某些情况下，组合使用不同的正则化技术可能会降低模型的性能。这些发现强调了在选择正则化策略时需要考虑正则化方法之间的相互作用，以及它们对特定任务和模型架构的适应性。
（4）探讨神经发生的条件
- 图4A 展示了在隐藏层中实施目标神经发生（Targeted Neurogenesis）的示意图。在这个方法中，神经元根据输入权重的大小进行排序，然后选择权重最低的（认为较不重要的）或权重最高的（认为较重要的）神经元进行神经发生处理，即重置这些神经元的权重。还有一种情况是不进行目标选择，即随机选择神经元进行神经发生（Random）。
- 图4B 展示了对照组（Control）、随机神经发生（Random Neurogenesis）、针对权重最高的神经元的目标神经发生（High Importance Neurons，作为阳性对照组）、以及针对权重最低的神经元的目标神经发生（Low Importance Neurons）的模型测试准确率的箱线图。图中还包括了方差分析（ANOVA）和Tukey’s HSD（Tukey诚实显著性差异）的统计测试结果。
实验结论：
实验结果表明，与随机神经发生相比，目标性地对权重最高的神经元进行神经发生（High Importance Neurons）会显著降低模型的测试准确率，这可能是因为这些权重较高的神经元对网络性能有重要贡献，重置它们的权重可能损害了网络已经学到的有用特征。另一方面，目标性地对权重最低的神经元进行神经发生（Low Importance Neurons）并没有比随机神经发生带来性能上的提升。这表明在权重大小的基础上进行的目标选择可能不是提高神经发生效果的有效策略。简单地基于权重大小来选择哪些神经元进行神经发生可能不足以优化网络性能。可能需要更复杂的方法来确定哪些神经元对网络学习最关键，以及如何通过神经发生来有效地调节网络的泛化能力。
（5）消融实验
- 图5A 展示了消融实验（Ablation Experiments）的示意图。消融实验是一种评估网络中单个神经元或神经元组重要性的方法，通过逐渐移除（消融）网络中的神经元，并观察这对网络性能的影响。
- 图5B 展示了随着网络中逐渐增加消融神经元数量，20次重复实验的平均归一化准确率的变化曲线。归一化准确率是将消融后的准确率与原始准确率进行比较，以衡量消融对网络性能的影响。
- 图5C 展示了对照组、神经发生组和Dropout组在第二隐藏层神经元的类选择性（Class Selectivity）的密度图。类选择性是指神经元对特定类别的激活程度，反映了神经元对不同类别的偏好性。
- 图5D 展示了训练后测试准确率的箱线图，这些网络在训练时有或没有引入神经发生，并在测试时有或没有添加新神经元。此外，还展示了重复测量方差分析（Repeated-measures ANOVA）的结果，用以分析训练和测试后添加新神经元的交互效应。
实验结论：
引入神经发生的网络相对于对照网络，在消融神经元后显示出较低的鲁棒性。这意味着，虽然神经发生提高了网络的泛化能力，但这些网络对单个神经元的依赖性更高，消融较少比例的神经元就足以显著影响性能。
类选择性密度图显示了不同网络条件下神经元的类选择性分布。这可能表明神经发生对网络中信息编码方式的影响，以及不同网络如何通过其神经元对输入数据进行分类。