从语言学上来说, 中文与英文有很大不同。中文书面文本单词之间是没有空间的,中文的语法关系是通过单词的顺序来表达的。这些因素增加了中文在词汇、语法和语义层次上的模糊性,因为现代语言概念和原则更适用于英文,而非中文。
目前,主流NLP方法都是语言无关性(language-independent)的。这些统计学或神经网络算法,根据不同的应用,都更进一步优化了特定语言 。
比如,在2015年5月,百度发布了第一个大型在线神经机器翻译系统。基础的NMT模型就是语言无关的,并输出了非常好的翻译结果。为了进一步改善翻译性能,我们使用特定语言特征优化了翻译系统。