机器翻译及相关技术
翻译前准备
清洗(大小写转换 标点符号)
分词(每个单词分开,生成一一对应的列表)
建立词典(根据词频进行统计 单词对应唯一id)
Encoder-Decoder
encoder将输入转化为隐藏状态,再由decoder将隐藏状态输出为翻译后语言。
sequence to sequence模型
运用到循环神经网络对下一个单词进行预测
将单词翻译成对应的词向量
beam search
依次根据每一个位置的局部最优解选取该位置的单词(贪婪搜索)
束搜索相比贪婪搜索增加了束宽(beam size)的超参数(k),每次选取(k)个最优词