什么是NLP技术?
什么是NLP技术?
-
NLP的全称是Natural Language Processing,中文意思是自然语言处理,是人工智能领域的一个重要方向。

随着人工智能的快速发展,越来越多的互联网公司开始拥抱人工智能,在图像识别,语音识别,个性化推荐等方面人工智能都取得了巨大的进步,而NLP的进步却相对缓慢,这与NLP所有解决的问题有关。
人类语言是抽象的信息符号,人类可以轻易理解文字背后的含义,人脑储存了完整上下文信息,而计算机想要理解人类语言却异常困难,计算机只能处理数值化的信息,并且只能理解表面的意义。
NLP是计算机解决这类问题的技术集合,包括很多不同的任务:
词法分析:分词、词性标注、实体识别
词向量表示:语义挖掘、相似度计算
短文本相似度:计算两个短文本之间的语义相似度,实现推荐
情感分析:对包含主观信息的文本进行情感倾向性判断
文本分类:文章按主题进行分类
新闻摘要:抽取文本的关键信息,形成指定长度的摘要
翻译:通用翻译、语音翻译、拍照翻译等
以上主要罗列出NLP任务的一些大方向,当然NLP任务还有很多细分的领域,核心目的就是希望让计算机能够理解人类语言,这样才能让计算机辅助人类处理大量智能的任务。
在中文语言环境里,中文分词是NLP的基础,也是NLP的核心。中文不同于英文,有空格作为分隔符,同时中文里的歧义问题、新词发现问题等等,都影响着中文NLP任务的质量。
本人有10年的互联网工作经验,对NLP中文分词有过深入研究,写了一本掘金小册《深入理解NLP的中文分词:从原理到实践》,里面详细介绍了NLP以及中文分词,大家如果感兴趣,可以通过阅读头条文章进行详细了解。https://www.toutiao.com/i6757934198884925963/
希望以上内容能够帮助到大家,多谢!
2019-11-11 16:30:43 -

维基百科的定义
2019-05-15 13:23:35