预训练在自然语言处理的应用(自然语言处理有哪些常见应用)
BERT:深度双向预训练语言模型1、截止BERT之前的预训练语言模型都是单向的(unidirectional),包括GPT和ELMo,这样的方法对句子层级的任务不是最优的,而且对于token层级的任务比如问答非常有...
BERT:深度双向预训练语言模型1、截止BERT之前的预训练语言模型都是单向的(unidirectional),包括GPT和ELMo,这样的方法对句子层级的任务不是最优的,而且对于token层级的任务比如问答非常有...