64自然语言处理底层技术实现及应用--自然语言处理简介
机器翻译 机器翻译也称为自动翻译,指的是让机器能够将一直自然语言转换成为另一种自然语言的过程。机器翻译是最早的自然语言处理任务之一。在计算机诞生之时,就有科学家提出使用计算机来代替人工进行翻译。
自然语言处理技术的应用非常广泛,可以用于机器翻译、语音识别、文本分类、情感分析、问答系统、智能客服、智能写作等众多领域。
自然语言处理(Natural Language Processing,简称NLP)是人工智能的一个子域。自然语言处理的应用包括机器翻译、情感分析、智能问答、信息提取、语言输入、舆论分析、知识图谱等方面,也是深度学习的一个分支。
因此,自然语言处理是与人机交互的领域有关的。在自然语言处理面临很多挑战,包括自然语言理解,因此,自然语言处理涉及人机交互的面积。
自然语言处理是计算机科学领域与人工智能领域中的一个重要方向。它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。自然语言处理是一门融语言学、计算机科学、数学于一体的科学。
自然语言处理的发展历史
从下图也可以看出自然语言处理是人工智能的一个重要分支。在自然语言处理的发展过程中,主要存在两种观点,如下: 理性主义方法: 该方法从自然语言的语法角度出发,是通过制定各种语法规则来解决自然语言处理问题。
而此时,正值苏美冷战,美国政府为了更方便地破译苏联相关文件,大力投入机器翻译的研究,自然语言处理从此兴起。
包括了逻辑代数、神经网络、遗传算法、机器翻译等方向的研究,AI在计算机图像处理、自然语言处理、机器人控制和智能家居等方面有了广泛的应用。
自然语言处理发展过程可以分为两个阶段: 50年代,学术界对人工智能和自然语言理解的认识是这样的:要让机器完成语音识别,必须让计算机理解自然语言。因为人类就这么做的。这种方法论就称为“鸟飞派”,也就是看鸟怎么飞的来造出飞机。
图2列出了人工智能发展史上的一些重要事件。
前者称为自然语言理解,后者称为自然语言生成。因此,自然语言处理大体包括了自然语言理解和自然语言生成两个部分。历史上对自然语言理解研究得较多,而对自然语言生成研究得较少。但这种状况已有所改变。
中文的自然语言处理的发展速度
中文的自然语言处理的发展速度落后于英文如下:主要的做法是存储两种语言的单词、短语对应译法的大辞典,翻译时一一对应,技术上只是调整语言的同条顺序。语言是人类区别其他动物的本质特性。
自然语言处理(NLP)作为人工智能领域的重要分支,正经历着快速发展和不断演进。以下是未来发展中可能出现的趋势:更强大的语言理解能力:随着深度学习和神经网络的进展,NLP系统在语言理解方面将变得更加强大。
这种可以利用大数据的优势,通过机器学习算法相对容易。而NLP应用的大部分场景都是非标准化的,输入数据十分“dirty”,需要大量的预处理,输出也和场景结合十分紧密,没有统一标准。
第三,浅层处理与深层处理并重,统计与规则方法并重,形成混合式的系统。第四,自然语言处理中越来越重视词汇的作用,出现了强烈的“词汇主义”的倾向。词汇知识库的建造成为了普遍关注的问题。
在自然语言处理的发展过程中,主要存在两种观点,如下: 理性主义方法: 该方法从自然语言的语法角度出发,是通过制定各种语法规则来解决自然语言处理问题。
目前在自然语言处理技术中,中文处理技术比西文处理技术要落后很大一段距离,许多西文的处理方法中文不能直接采用,就是因为中文必需有分词这道工序。中文分词是其他中文信息处理的基础,搜索引擎只是中文分词的一个应用。
还没有评论,来说两句吧...