NLP related basic knowledge with deep learning methods
2017-06-22
First things first >>>>>>>>>>>>>>>>>>>>>>>> Some great blogs:
1. https://github.com/udacity/deep-learning/blob/master/embeddings/Skip-Gram_word2vec.ipynb
2. http://mccormickml.com/2016/04/19/word2vec-tutorial-the-skip-gram-model/
3. http://www.thushv.com/natural_language_processing/word2vec-part-1-nlp-with-deep-learning-with-tensorflow-skip-gram/
4. https://github.com/udacity/deep-learning/blob/master/sentiment-rnn/Sentiment_RNN.ipynb
5. https://github.com/mchablani/deep-learning
Second >>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>> Skip-Thought Vectors:
1. 无监督的表示模型，做 sentence-level，seq2seq model ... 该方法的能够 work 的原因在于下面的这幅图：
该方法的两个主要部分：encoder-decoder，不同的是 这里有两个 decoder，分别用于解码当前句子的前一句 和 后一句。网络的训练 loss 的定义就是两个 decoder 部分 loss 的叠加：
该方法的另一个问题在于：如何处理网络并未见过的 word ？ 因为该网络的 encoder 部分可以将 文本 转化为 feature，但是可能有些 words 并未见过，如何编码这些 words 呢？本文利用 word2vector 的方法，将该机制中的 word 通过一个 映射函数 W 来进行转移，利用 L2 线性逻辑回归损失函数 来学习该 matrix W。
reference paper:
(1). http://papers.nips.cc/paper/5950-skip-thought-vectors.pdf
(2). blog: http://chuansong.me/n/478040352820
2.