文件名称：论文研究-基于Spark的并行化协同深度推荐模型.pdf
文件大小：694KB
文件格式：PDF
更新时间：2022-10-01 04:49:04
论文研究
协同深度学习（Collaborative Deep Learning，CDL）利用神经网络极强的特征学习能力和模型拟合鲁棒性，解决了推荐系统在数据稀疏的情况下性能表现急剧下降的问题。但当推荐系统面临大量数据时，导致模型训练变得难以维护，进而出现多种不可预料的问题。为解决上述问题，对协同深度学习及其并行化方法进行了研究，提出了一种针对项目内容学习优化的改进模型协同深度推荐（CDL with item private node，CDL-i），通过对传统CDL中的自编码网络进行改进，增加私有网络节点，在模型的网络参数共享情况下，为每个项目添加私有偏置项，使网络能够更针对性地学习到项目内容参数，改进了模型在推荐系统中对项目内容的探测性能。同时对算法进行并行化改进，通过对模型进行拆分，提出一种并行训练CDL-i的方法，将其移植到Spark分布式集群上，并行地对模型各部分参数进行训练优化，增强模型所能处理数据的规模和扩展性。通过在多个真实数据集上的实验，验证了提出的并行深度推荐算法的有效性和高效性。