自然语言处理预训练技术发展史（自然语言预处理过程）

64自然语言处理底层技术实现及应用--自然语言处理简介

1、机器翻译 机器翻译也称为自动翻译，指的是让机器能够将一直自然语言转换成为另一种自然语言的过程。机器翻译是最早的自然语言处理任务之一。在计算机诞生之时，就有科学家提出使用计算机来代替人工进行翻译。

2、自然语言处理技术的应用非常广泛，可以用于机器翻译、语音识别、文本分类、情感分析、问答系统、智能客服、智能写作等众多领域。

3、自然语言处理（Natural Language Processing，简称NLP）是人工智能的一个子域。自然语言处理的应用包括机器翻译、情感分析、智能问答、信息提取、语言输入、舆论分析、知识图谱等方面，也是深度学习的一个分支。

一文看尽2018全年AI技术大突破:NLP跨过分水岭、CV研究效果惊人_百度...

这份报告认为，这一年正是NLP的分水岭。2018年里，NLP领域的突破接连不断：ULMFiT、ELMo、最近大热的BERT……迁移学习成了NLP进展的重要推动力。

根据百度百科给的定义，人工智能(Artificial Intelligence)，英文缩写为AI。它是研究、开发用于模拟、延伸和扩展人的还能的理论、方法、技术及应用系统的一门新的技术科学。

另外，AI可以优化供应链管理和物流配送，提高效率和准确性，减少成本和时间。其次，AI应用的落地将改变外贸行业的商业模式和竞争格局。AI技术的运用将使得外贸行业更加智能化和数字化。

手写输入和语音识别是属于人工智能的什么应用领域

语音输入法属于人工智能的自然语言处理应用领域。自然语言处理主要应用于机器翻译、手写输入、自动摘要、观点提取、文本分类、问题回答、文本语义对比、语音识别、中文OCR等方面。

属于。人工智能的领域包括，图像识别，语音识别，自然语言处理，机器学习等领域。人工智能（Artificial Intelligence）是中国普通高等学校本科专业。语音识别属于人工智能的范畴。

人工智能（AI）已经被广泛应用于各种不同的领域。以下是一些常见的应用领域：机器学习和深度学习：AI的核心是机器学习和深度学习，这些技术可以用于许多不同的应用程序，例如自然语言处理、图像识别和预测分析等。

其应用领域有语音识别领域，除了大家已较为熟悉的科大讯飞输入法，一家叫作云知声的人工智能公司，最近开发了智能医疗语音录入系统，采用了国内面向医疗领域的智能“语音识别”技术，能实时准确地将语音转换成文本。

人工智能主要应用领域包括：农业方面。通信方面。医疗方面。社会治安方面。交通领域方面。服务业方面。金融行业方面。

bert什么时候问世

1、年：立体声唱片问世。1969年：美国的牙买加移民Kool Herc需要唱片中的一些节奏做他的伴奏，但唱片的节奏比较短，他就用两台唱机交替播放两张一样的唱片，得到了较长的伴奏，Hip Hop就这样在Turntable之上发展起来。

2、Transformer早在2017年就出现了，直到BERT问世，Transformer开始在NLP大放光彩，目前比较好的推进就是Transformer-XL（后期附上）。

3、年Audobert和Stora发现硫化镉(CdS)的光伏现象。 1933年L.O.Grondahl发表“铜-氧化亚铜整流器和光电池”论文。 1941年奥尔在硅上发现光伏效应。 1951年生长p-n结，实现制备单晶锗电池。

4、英国的Hurbert Booth(赫博特·布斯)在一次用餐时用嘴试图吹掉椅背上的大量灰尘，结果被呛得难以呼吸，从而产生了发明吸尘器的想法。但当时的吸尘器是一个庞然大物。

5、DJ Q-Bert Yoga Frog&Shortkut 1980年：芝加哥的DJ FRANKIE KNUCKLE，FARLEY，JACKMASTER，FUNK，RON HARDY，令DISCO成为美国年轻人的时尚。他们在4/4拍的节奏下播放一些歌曲，同年第一张 HOUSE MUSIC的黑胶唱片问世。

RNN的研究发展过程

1、从传统的Text rank抽取式，到深度学习中采用RNN、CNN单元处理，再引入Attention、Self-Attention机器生成摘要的方式，这一步步的转化使得文本摘要生成的方式跟人类思维越来越像，先理解后提取概要。

2、这就是RNN根据前面N个token来预测第N+1个token的过程。之所以RNN可以预测第N+1个token，是因为hidden state包含了前面N个token的信息。

3、一般的做法是：排序Top结果的物品有序，作为RNN或者Transformer的输入，RNN或者Transformer明显可以考虑在特征级别，融合当前物品上下文，也就是排序列表中其它物品，的特征，来从列表整体评估效果。

4、从最开始的词嵌入、word2vec，到RNN、GRU、LSTM等神经网络模型，再到最近的注意力机制、预训练语言模型等等。伴随着深度学习的加持，自然语言处理也迎来了突飞猛进。 接下来，我将介绍自然语言处理与深度学习结合后的相关进展。

NLP的任务

实体识别：在文本中标注实体（如人名、地名、组织机构等）可以帮助模型识别和提取关键信息。这对于许多NLP任务（如命名实体识别、信息抽取等）至关重要。

nlp该任务是输入两个序列，输出一个类别的问题。立场侦测一般用在事实侦测(VeracityPrediction)任务里面。

它用于问答、文本摘要生成、机器翻译、分类、代码生成和对话 AI。2018年，GPT-1诞生，这一年也是NLP（自然语言处理）的预训练模型元年。性能方面，GPT-1有着一定的泛化能力，能够用于和监督任务无关的NLP任务中。

例如，在「I found my wallet near the bank」一句中，NLP 的任务是理解句尾「bank」一词指代的是银行还是河边。由于自然语言是人类区别于其他动物的根本标志。

NLP对现实和目标的理解是，A（现实）与B（目标）之间只隔着套路——而无关于自己怎么想，别人怎么说。这就是A→B，只看现实，只认目标，箭头直指。