什么是自然语言处理?

　　欢迎各位阅读本篇,自然语言处理是计算机科学领域与人工智能领域中的一个重要方向。它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。本篇文章讲述了自然语言处理&商业智能!

　　当你每次问Siri方向时，一串复杂的代码就会被激活，代码使“她”理解你的问题，搜索你想要的信息，然后以你能理解的语言回答你的问题。这在过去几年中成了现实。直到现在，我们还在与电脑以他们能理解的语言互动，而不是以我们的语言。我们已经学会了他们的语言。

　　但是现在，他们在学习我们的语言。

　　这项支撑人机关系变革的技术是自然语言处理(Natural Language Processing, NLP)。它已经在改变商业智能，这比简单的互动走得更远。不久后，商业领域会转型，仅仅通过与聊天机器人交谈即可获得改变人生的信息。

　　这个未来并不遥远。甚至可以说，它就在眼前。

　　什么是自然语言处理?

　　自然语言处理，也被称为计算机语言学，结合了机器学习、人工智能和允许我们和类人机器对话的语言学。

　　想想几年前，我们通过使用关键词结合“与、或、非”的布尔搜索术语来实现有效的谷歌搜索。为了得到你想从谷歌得到的答案，你得知道它的语言。

　　然后，谷歌引入了语义搜索。它的算法学习了单词之间的关联，使你能够把谷歌当作朋友一样询问问题。在计算机内部，它把这个问题翻译成计算机能理解的布尔结构化搜索——但这个过程是隐形的。

　　这和你问Siri“今天天气如何”或“明天去北京哪一航班最便宜”用的技术是一样的，不用将你的英文修改为计算逻辑门。

　　你只需要问Siri：“明天去北京哪一航班最便宜?”“她”就会回答：“理解，”然后便开始搜索从你所在的位置到北京的飞机航线，比较费用，找到最便宜的航班。Siri能理解“明天”和“最便宜”，而不需要你指出具体的日期或定义“最便宜”为最低的价格。

　　这些例子还相对初级。尽管让人印象深刻，它们还是会犯错。当它们犯错时，说明你的问题需要以高度整合的数据回答。而自然语言处理的目的就是，废弃用户图形界面——甚至是用户界面，让与机器互动变得与人对话一样简单。

　　这将是商业智能应用的巨大分支。

　　自然语言处理历史：

　　最早的自然语言理解方面的研究工作是机器翻译。1949年，美国人威弗首先提出了机器翻译设计方案。20世纪60年代，国外对机器翻译曾有大规模的研究工作，耗费了巨额费用，但人们当时显然是低估了自然语言的复杂性，语言处理的理论和技术均不成热，所以进展不大。主要的做法是存储两种语言的单词、短语对应译法的大辞典，翻译时一一对应，技术上只是调整语言的同条顺序。

　　但日常生活中语言的翻译远不是如此简单，很多时候还要参考某句话前后的意思。

　　大约90年代开始，自然语言处理领域发生了巨大的变化。这种变化的两个明显的特征是：

　　(1)对系统输入，要求研制的自然语言处理系统能处理大规模的真实文本，而不是如以前的研究性系统那样，只能处理很少的词条和典型句子。只有这样，研制的系统才有真正的实用价值。

　　(2)对系统的输出，鉴于真实地理解自然语言是十分困难的，对系统并不要求能对自然语言文本进行深层的理解，但要能从中抽取有用的信息。例如，对自然语言文本进行自动地提取索引词，过滤，检索，自动提取重要信息，进行自动摘要等等。

　　同时，由于强调了“大规模”，强调了“真实文本”，下面两方面的基础性工作也得到了重视和加强。

　　(1)大规模真实语料库的研制。大规模的经过不同深度加工的真实文本的语料库，是研究自然语言统计性质的基础。没有它们，统计方法只能是无源之水。

　　(2)大规模、信息丰富的词典的编制工作。规模为几万，十几万，甚至几十万词，含有丰富的信息(如包含词的搭配信息)的计算机可用词典对自然语言处理的重要性是很明显的。

　　自然语言处理将会使数据民主化

　　总体而言，最大的影响将会是降低或彻底移除阻挡通入商业智能和大数据的屏障。许多商业智能领域的公司已经注意到这个趋势并取得了重大进展，确保数据正变得便于用户访问且能轻松获取。然而，这还有很长的路要走。

　　想像一下，未来你只需问出一个问题，就能在任何时间任何地点得到答案。把商业智能转变成与聊天机器人的对话，了解信息将简单得只需要问“过去三个季度的收入如何?”，不需要多年的经验，不需要熟悉软件，也不需要担心提出的问题机器是否能理解。

　　基于对用户图形界面的需求正在减退的趋势，自然语言处理将使访问变得更容易。用户可通过智能手机上的文本或语音命令进行查询，处理过程将在云端进行。

　　谷歌现在可能会告诉你明天天气如何，但不久后，你将能向你的私人数据聊天机器人了解到你的顾客今天感受如何，他们下周将会如何看待你的品牌等等主观问题。

　　自然语言处理将使商业智能更具洞察力

　　目前，自然语言处理趋向于建立在将自然语言转化为机器语言的基础上。然而，当这项技术成熟后——尤其是人工智能部分——电脑将会更好地“理解”需求并提供答案，而不用去搜索结果。

　　这要比用自然语言问问题向前走了进一步。最初，数据聊天机器人可能在回答一个问题时，如“过去三个季度的收入如何变化”，跳出几页数据让你去分析。

　　一旦它学会语义关系和问题推论，它将能自动筛选并组织成一个智能答案而不再是仅仅告诉你数据。

　　你将不会再用自然语言问问题。

　　自然语言处理将驾驭非结构化数据

　　自然语言处理通过使机器理解非结构化数据扩展了答案可能会在的范围。

　　情绪分析的早期尝试成效已经远远超出预期，比如，可以做到从一条关于你业务的微博中分析周围文本并决定这条微博传递的情绪是正面的，负面的，还是中立的。当语言识别技术提升后，音频和视频同样将成为更容易获得的资源。

　　现在还只是这项技术的初期，情绪分析目前达成的水平可从使用谷歌翻译一篇德语新闻(一个依赖于自然语言处理各个方面的过程)的准确度中略见一斑。走在语义分析前沿的国际商业机器公司的沃森系统(IBM’s Watson)，如今仅能检测到喜悦、恐惧、悲伤、恶心和愤怒等情绪，而人类能感受更多种情感。

　　随着沃森公司的任务更加细化，自然语言处理开放了大量的公共多媒体，用于机器的大量分析、获取过去需要人工分析才能得到的数据，并给出量化答案、自然语言答案或是同时给出两种答案。

　　雇佣一个私人数据助手

　　这个即将实现的界面与你今日在网上所见的服务型聊天机器人类似。它能驱动你的各种应用，结合你的商业智能分析渗入你业务的方方面面，任意时刻都能提供数据驱动的处理。

　　想象你的商业智能聊天机器人在不远的未来就会像过去的回形针一样，随时能回答Slack聊天、Skype会议或微软日历标注的事件上的问题。

　　谁是你公司今年的最佳售货员?要得到这个问题的答案将不再通过问你自己，而是点击你的数据。你将能问聊天机器人任意问题并得到答案，这过程就像你求助万能的朋友圈一样简单。

　　小结：自然语言处理并不是一般地研究自然语言，而在于研制能有效地实现自然语言通信的计算机系统，特别是其中的软件系统。因而它是计算机科学的一部分。