自然语言处理框架算法模型有哪些（自然语言处理模块）

自然语言处理基础知识

1、自然语言处理（Natural Language Processing，NLP）是计算机科学领域与人工智能领域中的一个重要方向。它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。

2、给定一个词汇集合 V，对于一个由 V 中的词构成的序列S = w1， ··· ， wT ∈ Vn，统计语言模型赋予这个序列一个概率P(S)，来衡量S 符合自然语言的语法和语义规则的置信度。

3、NLP理解自然语言目前有两种处理方式：基于规则来理解自然语言，即通过制定一些系列的规则来设计一个程序，然后通过这个程序来解决自然语言问题。

在自然语言中，我们的目标是对句子理解，对句子生成。但是由于计算机对电脑理解有一些障碍：模糊、不确定、不完整等。我们在这里简单介绍语法树Syntax Tree和语言模型。

N-gram模型是一种典型的统计语言模型(Language Model，LM)，统计语言模型是一个基于概率的判别模型.统计语言模型把语言(词的序列)看作一个随机事件，并赋予相应的概率来描述其属于某种语言集合的可能性。

概率替代n-gram 概率，而这种替代需受归一化因子的作用。对于每个计数 r 0 的n元文法的出现次数减值，把因减值而节省下来的剩余概率根据低阶的(n-1)gram 分配给未见事件。

自然语言处理技术有标记化、删除停止词、提取主干、单词嵌入、词频-逆文档频率、主题建模、情感分析。标记化（Tokenization）标记化指的是将文本切分为句子或单词，在此过程中，我们也会丢弃标点符号及多余的符号。

自然语言处理技术的应用介绍如下：机器翻译每个人都知道什么是翻译：将信息从一种语言翻译成另一种语言。当机器完成相同的操作时，要处理的是如何“机器”翻译。

文本分类与情感分析：自然语言处理技术可以对文本进行分类，如新闻文章分类、垃圾邮件过滤等。此外，情感分析能够识别和理解文本中的情感倾向，从而帮助企业了解用户对产品和服务的态度和情感。