NATURAL LANGUAGE PROCESSING

自然语言处理

自然语言处理

自然语言处理(Natural Language Processing, NLP)是人工智能领域中最为困难的研究问题之一,我们结合传统机器学习方法和深度学习方法对自然语言文本进行多层次的语义解析,覆盖从词汇级到句子级再到篇章级、从浅层语义理解到深层语义分析的多个研究任务。

基础 NLP 任务

词法分析

基于特定领域研究的中文分词、词性标注和NER技术,可以获取词汇级语义特征。

依存句法分析

实现对句子中词与词之间的关系、句子整体与部分的结构成分做分析,获取句子级语义特征,深入理解自然语言文本。

语言模型

基于海量领域语料训练的深度语言模型,能够辅助语音识别、文本纠错、机器翻译等多个NLP任务。

文本相似度

自然语言的向量化表示

基于特定领域的海量数据训练词向量和句子向量表示,更精准的在领域任务上进行语义表示,为多种神经网络模型提供更好的向量化表示,同时也为语义相似度计算提供服务。

词汇相似度/同义词

基于海量数据训练的高质量词向量结合词汇上下位关系信息以及其他外部知识库,准确衡量词汇之间的语义相似度。

短文本相似度

利用文本的词汇、句子及语义层面的特征进行深度相似度计算,可以为推荐、检索、排序等多个任务提供服务。

深层语义理解

文本纠错

智能识别出文本中的错误,并进行错误修正,提供更高质量的文本数据。

意图识别

利用深度神经网络模型进行基于上下文场景的用户聊天意图识别。

情感分类

准确把握文本中所蕴含的情感意图,让机器人更深入了解用户,做出正确的情感回复。

情绪识别

准确识别文本中所蕴含的用户情绪及变化趋势,让机器人能够做出合适的主动关怀与情感陪伴。

主体识别

精准识别出句子中的主体,辅助对话任务。

自动文摘

对长文本信息进行核心内容提取,精简文本表达。

阅读理解

通过对文本的理解,进行相关问题的答案提取和生成。

对话主题提取

通过对文本的理解,进行相关问题的答案提取和生成。