自然语言处理中什么是预训练（自然语言处理预训练模型）

自然语言处理中语料预处理的方法

1、清洗语料库就是保留语料库中有用的数据，删除噪音数据。常见的清洗方法有：手动去重、对齐、删除、贴标签等。以下面的文字为例。

2、数据源可能来自网上爬取、资料积累、语料转换、OCR转换等，格式可能比较混乱。需要将url、时间、符号等无意义内容去除，留下质量相对较高的非结构化数据。

3、NLP 可以使用传统的机器学习方法来处理，也可以使用深度学习的方法来处理。2 种不同的途径也对应着不同的处理步骤。

4、数据预处理在原始文本语料上进行预处理，为文本挖掘或NLP任务做准备数据预处理分为好几步，其中有些步骤可能适用于给定的任务，也可能不适用。但通常都是标记化、归一化和替代的其中一种。

5、自然语言处理技术有标记化、删除停止词、提取主干、单词嵌入、词频-逆文档频率、主题建模、情感分析。标记化（Tokenization）标记化指的是将文本切分为句子或单词，在此过程中，我们也会丢弃标点符号及多余的符号。

1、Transformer是近两三年非常火的一种适用于NLP领域的一种模型，本质上是Encoder-Decoder结构，所以多应用在机器翻译(输入一个句子输出一个句子)、语音识别(输入语音输出文字)、问答系统等领域。

2、Multi-Head Attention就是把Scaled Dot-Product Attention的过程做h次，然后把输出合起来。

3、思考：导致视觉和语言的masked autoencoder 不一样的三大原因规模大的简单算法是深度学习的核心。在NLP中，简单的自我监督学习方法能够从模型的规模中获益。在计算机视觉中，实用的预训练范例主要是监督式的。

4、Transformer 与 RNN 不同，可以比较好地并行训练。Transformer 本身是不能利用单词的顺序信息的，因此需要在输入中添加位置 Embedding，否则 Transformer 就是一个词袋模型了。

1、截止BERT之前的预训练语言模型都是单向的(unidirectional)，包括GPT和ELMo，这样的方法对句子层级的任务不是最优的，而且对于token层级的任务比如问答非常有害。

2、Google 称 BERT 为“第一个深度双向、无监督式语言表示，仅使用纯文本语料库预先进行了训练”(Devlin et al. 2018)。双向模型在自然语言处理 (NLP) 领域早已有应用。这些模型涉及从左到右以及从右到左两种文本查看顺序。

3、bert是双向语言模型，句子没有shift_mask操作，所以是完整的上下文环境，证实了双向语言模型对文本特征表示的重要性。bert同时证实了预训练模型能够简化很多繁重任务的网络结构，在11个nlp任务上都有显著提升。

4、BERT有两部分：pre-training和fine-tuning。在pre-training阶段，会在没有标注数据且不同预训练任务上训练模型；在fine-tuning阶段，BERT会根据预训练模型的参数初始化，然后在下游任务的标注数据进行fine-tuned。

GPT是“Generative Pre-trained Transformer”的缩写，它是一种使用Transformer架构和自然语言处理技术的预训练网络，由OpenAI公司开发。

丙氨酸氨基转移酶。根据查询相关公开资料显示：GPT是谷丙转氨酶的英文缩写，GPT又称丙氨酸氨基转移酶，广泛分布于肝细胞的线粒体中，当肝细胞遭到破坏时，GPT释放入血，故临床上主要用于肝脏疾病的诊断。

从专业的角度讲：全称为“Generative Pre-trained Transformer”，是一种基于转换器（Transformer）架构的预训练（Pre-trained）语言模型，由OpenAI公司开发。

GPT是一种自然语言处理技术，它使用深度学习算法来生成人类语言的连续文本。GPT是OpenAI公司推出的一个预训练语言模型，是目前最先进的自然语言处理技术之一。

题主是否想询问“gpt是什么东西”？谷丙转氨酶。临床上经过测量病人血液中的丙氨酸氨基转移酶的浓度来帮助判断是否表现出了肝脏的损害，医学常用gpt来表示谷丙转氨酶。东西泛指各种具体的或抽象的事物。