文件名称：卷积神经网络的基于手势的手势字母识别和句子解释-研究论文
文件大小：1.52MB
文件格式：PDF
更新时间：2024-06-09 09:43:35
Convolutional Neural Network; Human-Computer Interaction;
手语（SL）识别旨在通过各种观点，经验和技能将聋人与一般人群联系起来，这些观点，经验和技能是发展人机交互的基础。 基于手势的SL识别涵盖了广泛的人类能力和观点。 由于照明水平的变化，多样性，多个方面，自识别部件，不同形状，大小和复杂背景的复杂性，手势性能的效率仍然具有挑战性。 在这种情况下，我们提出了一种美国手语字母识别系统，该系统将手语手势转换为文本并从连续执行的手势中创建有意义的句子。 我们提出了一种手势分割技术，并提出了基于特征融合的卷积神经网络（CNN）。 输入图像是通过低成本设备（例如网络摄像头）直接从视频中捕获的，并通过过滤和分段技术（例如Otsu方法）进行了预处理。 之后，使用CNN提取特征，然后将其融合在完全连接的层中。 为了对手势进行分类和识别，使用了众所周知的分类器，例如Softmax。 为此工作提出了一个数据集，该数据集仅包含在实验室环境中收集的手势的静态图像。 结果分析表明，我们提出的系统比其他最新系统具有更高的识别精度。