在百度,我们开发出很多NLP技术,包括知识图谱、语义理解、内容标注、情感分析、生成、摘要、问答、机器翻译和对话系统等等。这些技术已经应用于许多百度的产品里,比如搜索、新闻流(news feed)和智能助理,每天为数亿用户服务。我们将以上这些技术通通整合进一个名为NLP Cloud的平台中。
NLP Cloud提供20多种NLP模块和方案,服务于百度产品。我们的NLP Cloud服务每天被调用1千多亿次。
以搜索为例,典型的NLP模块,比如切词、命名实体识别、语法分析、释义都是基本特征。这些模块一直在持续优化并取得突破。另一个典型的NLP技术应用案例就是问答系统。一个高性能的问答系统需要对查询语句进行精准的语义分析,构建覆盖面广的知识图谱,同时对网页搜索结果进行全面分析。当用户在搜索框输入查询语句时,搜索引擎能够立马提供答案。很多用户也使用搜索引擎来查询相关性高的信息,帮助做决策。这种情况下,情感分析(也称观点挖掘)技术可以帮助提取多种备选观点,并将聚合的信息提供给用户。
另一个案例就是新闻流,这个领域文章质量是极其重要的。NLP技术可以帮助检测各种垃圾文章,比如谣言、抄袭等等;而文本分析技术可以帮助识别高质量文章,并生成最能够描述该文章的标签。此外,从不同维度描述用户偏好的“用户模型”也十分依赖于NLP技术。
总而言之,在所有跟自然语言相关的产品里,NLP技术都是不可或缺的。