下载安卓APP箭头
箭头给我发消息

客服QQ:3315713922

什么使用Python展构建可扩的社交媒体情感分析服务

作者:课课家教育     来源: http://www.kokojia.com点击数:1067发布时间: 2019-05-24 14:47:53

标签: 编程语言Python视频Python教程视频

大神带你学编程,欢迎选课

使用Python展构建可扩的社交媒体情感分析服务

Python是一种计算机程序设计语言。是一种面向对象的动态类型语言,最初被设计用于编写自动化脚本(shell),随着版本的不断更新和语言新功能的添加,越来越多被用于独立的、大型项目的开发。

什么使用Python展构建可扩的社交媒体情感分析服务_编程语言_Python视频_Python教程视频_课课家

学习如何使用 spaCy、vaderSentiment、Flask 和 Python 来为你的作品添加情感分析能力。

本系列的Linux.cn/article-10852-1.html">第一部分提供了情感分析工作原理的一些背景知识,现在让我们研究如何将这些功能添加到你的设计中。

探索 Python 库 spaCy 和 vaderSentiment

前提条件

  • 一个终端 shell
  • shell 中的 Python 语言二进制文件(3.4+ 版本)
  • 用于安装 Python 包的 pip 命令
  • (可选)一个 Python 虚拟环境使你的工作与系统隔离开来

配置环境

在开始编写代码之前,你需要安装 spaCy 和 vaderSentiment 包来设置 Python 环境,同时下载一个语言模型来帮助你分析。幸运的是,大部分操作都容易在命令行中完成。

在 shell 中,输入以下命令来安装 spaCy 和 vaderSentiment 包:

  1. pip install spacy vaderSentiment

命令安装完成后,安装 spaCy 可用于文本分析的语言模型。以下命令将使用 spaCy 模块下载并安装英语模型

  1. python -m spacy download en_core_web_sm

安装了这些库和模型之后,就可以开始编码了。

一个简单的文本分析

使用 Python 解释器交互模式 编写一些代码来分析单个文本片段。首先启动 Python 环境:

  1. $ python
  2. Python3.6.8(default,Jan312019,09:38:34)
  3. [GCC 8.2.120181215(RedHat8.2.1-6)] on linux
  4. Type"help","copyright","credits"or"license"formore information.
  5. >>>

(你的 Python 解释器版本打印可能与此不同。)

1、导入所需模块:

  1. >>>import spacy
  2. >>>from vaderSentiment import vaderSentiment

2、从 spaCy 加载英语语言模型:

  1. >>> english = spacy.load("en_core_web_sm")

3、处理一段文本。本例展示了一个非常简单的句子,我们希望它能给我们带来些许积极的情感:

  1. >>> result = english("I like to eat applesauce with sugar and cinnamon.")

4、从处理后的结果中收集句子。SpaCy 已识别并处理短语中的实体,这一步为每个句子生成情感(即时在本例中只有一个句子):

  1. >>> sentences =[str(s)for s in result.sents]

5、使用 vaderSentiments 创建一个分析器:

  1. >>> analyzer = vaderSentiment.SentimentIntensityAnalyzer()

6、对句子进行情感分析:

  1. >>> sentiment =[analyzer.polarity_scores(str(s))for s in sentences]

sentiment 变量现在包含例句的极性分数。打印出这个值,看看它是如何分析这个句子的。

  1. >>>print(sentiment)
  2. [{'neg':0.0,'neu':0.737,'pos':0.263,'compound':0.3612}]

这个结构是什么意思?

表面上,这是一个只有一个字典对象的数组。如果有多个句子,那么每个句子都会对应一个字典对象。字典中有四个键对应不同类型的情感。neg 键表示负面情感,因为在本例中没有报告任何负面情感,0.0 值证明了这一点。neu 键表示中性情感,它的得分相当高,为 0.737(最高为 1.0)。pos 键代表积极情感,得分适中,为 0.263。最后,cmpound 键代表文本的总体得分,它可以从负数到正数,0.3612 表示积极方面的情感多一点。

要查看这些值可能如何变化,你可以使用已输入的代码做一个小实验。以下代码块显示了如何对类似句子的情感评分的评估。

  1. >>> result = english("I love applesauce!")
  2. >>> sentences =[str(s)for s in result.sents]
  3. >>> sentiment =[analyzer.polarity_scores(str(s))for s in sentences]
  4. >>>print(sentiment)
  5. [{'neg':0.0,'neu':0.182,'pos':0.818,'compound':0.6696}]

你可以看到,通过将例句改为非常积极的句子,sentiment 的值发生了巨大变化。

建立一个情感分析服务

现在你已经为情感分析组装了基本的代码块,让我们将这些东西转化为一个简单的服务。

在这个演示中,你将使用 Python Flask 包 创建一个 RESTful HTTP 服务器。此服务将接受英文文本数据并返回情感分析结果。请注意,此示例服务是用于学习所涉及的技术,而不是用于投入生产的东西。

前提条件

  • 一个终端 shell
  • shell 中的 Python 语言二进制文件(3.4+ 版本)
  • 安装 Python 包的 pip 命令
  • curl 命令
  • 一个文本编辑器
  • (可选) 一个 Python 虚拟环境使你的工作与系统隔离开来

配置环境

这个环境几乎与上一节中的环境相同,唯一的区别是在 Python 环境中添加了 Flask 包。

1、安装所需依赖项:

  1. pip install spacy vaderSentiment flask

2、安装 spaCy 的英语语言模型:

  1. python -m spacy download en_core_web_sm

创建应用程序文件

打开编辑器,创建一个名为 app.py 的文件。添加以下内容 (不用担心,我们将解释每一行):

  1. import flask
  2. import spacy
  3. import vaderSentiment.vaderSentiment as vader
  4.  
  5. app = flask.Flask(__name__)
  6. analyzer = vader.SentimentIntensityAnalyzer()
  7. english = spacy.load("en_core_web_sm")
  8.  
  9. def get_sentiments(text):
  10. result = english(text)
  11. sentences =[str(sent)for sent in result.sents]
  12. sentiments =[analyzer.polarity_scores(str(s))for s in sentences]
  13. return sentiments
  14.  
  15. @app.route("/", methods=["POST","GET"])
  16. def index():
  17. if flask.request.method =="GET":
  18. return"To Access this service send a POST request to this URL with" \\
  19. " the text you want analyzed in the body."
  20. body = flask.request.data.decode("utf-8")
  21. sentiments = get_sentiments(body)
  22. return flask.json.dumps(sentiments)

虽然这个源文件不是很大,但它非常密集。让我们来看看这个应用程序的各个部分,并解释它们在做什么。

  1. import flask
  2. import spacy
  3. import vaderSentiment.vaderSentiment as vader

前三行引入了执行语言分析和 HTTP 框架所需的包。

  1. app = flask.Flask(__name__)
  2. analyzer = vader.SentimentIntensityAnalyzer()
  3. english = spacy.load("en_core_web_sm")

接下来的三行代码创建了一些全局变量。第一个变量 app,它是 Flask 用于创建 HTTP 路由的主要入口点。第二个变量 analyzer 与上一个示例中使用的类型相同,它将用于生成情感分数。最后一个变量 english 也与上一个示例中使用的类型相同,它将用于注释和标记初始文本输入。

你可能想知道为什么全局声明这些变量。对于 app 变量,这是许多 Flask 应用程序的标准过程。但是,对于 analyzer 和 english 变量,将它们设置为全局变量的决定是基于与所涉及的类关联的加载时间。虽然加载时间可能看起来很短,但是当它在 HTTP 服务器的上下文中运行时,这些延迟会对性能产生负面影响。

  1. def get_sentiments(text):
  2. result = english(text)
  3. sentences =[str(sent)for sent in result.sents]
  4. sentiments =[analyzer.polarity_scores(str(s))for s in sentences]
  5. return sentiments

这部分是服务的核心 —— 一个用于从一串文本生成情感值的函数。你可以看到此函数中的操作对应于你之前在 Python 解释器中运行的命令。这里它们被封装在一个函数定义中,text 源作为文本变量传入,最后 sentiments 变量返回给调用者。

  1. @app.route("/", methods=["POST","GET"])
  2. def index():
  3. if flask.request.method =="GET":
  4. return"To access this service send a POST request to this URL with" \\
  5. " the text you want analyzed in the body."
  6. body = flask.request.data.decode("utf-8")
  7. sentiments = get_sentiments(body)
  8. return flask.json.dumps(sentiments)

源文件的最后一个函数包含了指导 Flask 如何为服务配置 HTTP 服务器的逻辑。它从一行开始,该行将 HTTP 路由 / 与请求方法 POST 和 GET 相关联。

在函数定义行之后,if 子句将检测请求方法是否为 GET。如果用户向服务发送此请求,那么下面的行将返回一条指示如何访问服务器的文本消息。这主要是为了方便最终用户。

下一行使用 flask.request 对象来获取请求的主体,该主体应包含要处理的文本字符串。decode 函数将字节数组转换为可用的格式化字符串。经过解码的文本消息被传递给 get_sentiments 函数以生成情感分数。最后,分数通过 HTTP 框架返回给用户。

你现在应该保存文件,如果尚未保存,那么返回 shell。

运行情感服务

一切就绪后,使用 Flask 的内置调试服务器运行服务非常简单。要启动该服务,请从与源文件相同的目录中输入以下命令:

  1. FLASK_APP=app.py flask run

现在,你将在 shell 中看到来自服务器的一些输出,并且服务器将处于运行状态。要测试服务器是否正在运行,你需要打开第二个 shell 并使用 curl 命令。

首先,输入以下命令检查是否打印了指令信息:

  1. curl http://localhost:5000

你应该看到说明消息:

  1. To access this service send a POST request to this URI with the text you want analyzed in the body.

接下来,运行以下命令发送测试消息,查看情感分析:

  1. curl http://localhost:5000 --header "Content-Type: application/json" --data "I love applesauce!"

你从服务器获得的响应应类似于以下内容:

  1. [{"compound":0.6696,"neg":0.0,"neu":0.182,"pos":0.818}]

恭喜!你现在已经实现了一个 RESTful HTTP 情感分析服务。你可以在 GitHub 上找到此服务的参考实现和本文中的所有代码

继续探索

现在你已经了解了自然语言处理和情感分析背后的原理和机制,下面是进一步发现探索该主题的一些方法。

在 OpenShift 上创建流式情感分析器

虽然创建本地应用程序来研究情绪分析很方便,但是接下来需要能够部署应用程序以实现更广泛的用途。按照Radnaalytics.io 提供的指导和代码进行操作,你将学习如何创建一个情感分析仪,可以容器化并部署到 Kubernetes 平台。你还将了解如何将 Apache Kafka 用作事件驱动消息传递的框架,以及如何将 Apache Spark 用作情绪分析的分布式计算平台。

使用 Twitter API 发现实时数据

虽然 Radanalytics.io 实验室可以生成合成推文流,但你可以不受限于合成数据。事实上,拥有 Twitter 账户的任何人都可以使用 Tweepy Python 包访问 Twitter 流媒体 API 对推文进行情感分析。

由于Python语言的简洁性、易读性以及可扩展性,在国外用Python做科学计算的研究机构日益增多,一些知名大学已经采用Python来教授程序设计课程。

 

赞(15)
踩(0)
分享到:
华为认证网络工程师 HCIE直播课视频教程