关于自然语言处理基础技术之分词介绍的信息

NLP基本术语与基本概念-上

1、能够拥有更多的前置信息量，可以使得当前词的预测更加准确，但是当N过大时会出现稀疏问题，导致很多词的概率值为0，为解决这一问题，因此常用的为bigram 或 trigram，这就导致N-gram无法获得上文的长时依赖。

2、into a well-defined sequence of linguistically meaningful units. 文本预处理是NLP中的基本步骤，在这一步骤中，主要完成字符、单词、句子的识别任务。

3、和谐气氛，就是让每一个人放松下来，感到安全，并对对方有一定的信任，在这种情况下，个人与自己内心的感觉联系着，同时，大脑里理性的部分充分运作，因而最能在NLP技巧过程中取得理想的效果。

4、NLP：计算机或系统真正理解人类语言并以与人类相同的方式处理它的能力。难度：理解话中的潜在意图；理解句子中的歧义。歧义包括：单词、句子、语义中歧义。

5、P (Programming) 是指为产生某种后果而要执行的一套具体指令。即指我们思维上及行为上的习惯，就如同电脑中的程序，可以透过更新软件而改变。故此，NLP被解释为研究我们的大脑如何工作的学问。

1、中文分词技术属于自然语言处理技术范畴，对于一句话，人可以通过自己的知识来明白哪些是词，哪些不是词，但如何让计算机也能理解？其处理过程就是分词算法。

2、词是最小的能够独立活动的有意义的语言成分，英文单词之间是以空格作为自然分界符的，而汉语是以字为基本的书写单位，词语之间没有明显的区分标记，因此，中文词语分析是中文分词的基础与关键。

3、中文分词是中文文本处理的一个基础步骤，也是中文人机自然语言交互的基础模块。不同于英文的是，中文句子中没有词的界限，因此在进行中文自然语言处理时，通常需要先进行分词，分词效果将直接影响词性、句法树等模块的效果。

4、既然是“文本挖掘”，自然语言处理最基本的功能点肯定都要做：新词发现、分词、词性标注、分类、自动提取标签、实体自动发现和识别。

5、kuseg是由北京大学自然语言处理实验室开发的一套中文分词工具，能够切分出中文文本中的词汇。研究人员采用了结巴分词算法和bi-LSTM深度学习模型，并结合词性标注、命名实体识别等技术实现分词。

中文切词(又称中文分词，Chinese Word Segmentation)指的是将一个汉字序列切分成一个一个单独的词。中文分词是文本挖掘的基础，对于输入的一段中文，成功的进行中文分词，可以达到电脑自动识别语句含义的效果。

下面简要介绍几种常用方法：1)逐词遍历法逐词遍历法将词典中的所有词按由长到短的顺序在文章中逐字搜索，直至文章结束。也就是说，不管文章有多短，词典有多大，都要将词典遍历一遍。

统中由未登录词造成的切词错误远远超过歧义切分与字段引发的错误。因此，近年来这个问题已成为自动切词研究的焦点。