基于视觉信息和深度学习的中文唇语数据集构建与识别_胡扬.caj

时间:2023-05-18 16:01:49
【文件属性】:

文件名称:基于视觉信息和深度学习的中文唇语数据集构建与识别_胡扬.caj

文件大小:1.91MB

文件格式:CAJ

更新时间:2023-05-18 16:01:49

唇语识别

本文以中文唇语识别为主线,通过更有效的数据收集手段将中文的唇语识别问 题拓展到更一般更现实的中文环境中,并通过深度学习技术有效解决现实环境下变 长唇语序列图片的中文识别问题。本文的主要研究内容包括: 1. 研究以互联网视频为数据源头,自动快速构建中文唇语数据集的方法。互联 网视频中的场景变化较多,与现实环境相符,同时资源获取成本较低,本文 基于此,提出有效的从互联网视频中获取可以用于训练唇读模型的唇部序列 图片和对应的中文内容。 2. 研究中文唇语识别的网络设计。相较于限定实验环境下的唇语识别,现实环 境下的中文唇语识别语料过于丰富,同时语句长度不定,为了解决这两个难 题,本文以深度学习为背景技术,进行端到端的中文唇语识别网络设计,来 针对变长中文唇语识别问题。


网友评论