Программа для мониторинга общественных настроений в России на основе сообщений из Twitter

Ежедневно пользователями социальных сетей генерируются значительные объемы текстового контента, который дополнительно содержит информацию о координатах и времени публикации. Эти данные могут быть проанализированы и использованы для оценки общего состояния большой популяции пользователей с целью решения научных вопросов из широкого спектра дисциплин. В данной статье описывается разработка программы для мониторинга общественных настроений на основе анализа тональности сообщений из русскоязычного сегмента социальной сети Twitter с использованием методов машинного обучения. В разработанном программном продукте была использована многоуровневая сетевая архитектура «клиент-сервер». Написанное на Python серверное приложение собирает сообщения пользователей через Twitter API, осуществляет предварительную обработку текста, анализирует эмоциональную окраску сообщений с использованием мультиномиального наивного Байесовского классификатора и определяет их принадлежность к административно-территориальным субъектам страны. Клиентское веб-приложение визуализирует результаты анализа тональности, которые состоят из карты настроений России, где для каждого административно-территориального субъекта указывается текущий показатель настроения, а также из графиков изменения настроения в течение дня и в течение недели. В процессе разработки программного средства были задействованы облачные сервисы. Серверная часть была развернута на платформе Google App Engine, которая позволяет выполнять веб-приложения на серверах Google, то есть полностью абстрагироваться от инфраструктуры, поэтому при работе сервер не нуждается в администрировании. Данные программы хранятся в облачной базе данных Google Cloud Datastore, которая полностью интегрирована с Google App Engine.

анализ тональности, общественные настроения, социальные сети

1. Charts | Google Developers. Google Developers (online). Доступно по ссылке: https://developers.google.com/chart/. [Дата обращения: 18.03.2017]

2. R. Collins, D. May, N. Weinthal, and R. Wicentowski, “SWAT-CMW: Classification of Twitter Emotional Polarity using a Multiple-Classifier Decision Schema and Enhanced Emotion Tagging,” Proceedings of the 9th International Workshop on Semantic Evaluation (SemEval 2015), pp. 669-672, 2015. - 2015.

3. Corpus of short texts in Russian. Julia Rubtsova. (online). Доступно по ссылке: http://study.mokoron.com/. [Дата обращения: 18.03.2017]

4. Datastore - NoSQL Schemaless Database | Google Cloud Platform. Google Cloud Platform (online). Доступно по ссылке: https://cloud.google.com/datastore/. [Дата обращения: 18.03.2017]

5. L. Dey, S. Chakraborty, A. Biswas, B. Bose, and S. Tiwari, “Sentiment Analysis of Review Datasets Using Naïve Bayes‘ and K-NN Classifier,” International Journal of Information Engineering and Electronic Business, vol. 8, no. 4, pp. 54-62, Aug. 2016.

6. F. Dzogang, T. Lansdall-Welfare, and N. Cristianini, “Discovering Periodic Patterns in Historical News,” Plos One, vol. 11, no. 11, 2016.

7. F. Dzogang, T. Lansdall-Welfare, and N. Cristianini, “Seasonal Fluctuations in Collective Mood Revealed by Wikipedia Searches and Twitter Posts,” 2016 IEEE 16th International Conference on Data Mining Workshops (ICDMW), 2016.

8. GeoNames. GeoNames (online). Доступно по ссылке: http://www.geonames.org/.

9. Google App Engine Documentation | App Engine Documentation | Google Cloud Platform. Google Cloud Platform (online). Доступно по ссылке: https://cloud.google.com/appengine/docs/. [Дата обращения: 18.03.2017]

10. E. Haddi, “Sentiment analysis: text, pre-processing, reader views and cross domains,” dissertation, 2015.

11. M. Korobov, “Morphological Analyzer and Generator for Russian and Ukrainian Languages,” Communications in Computer and Information Science Analysis of Images, Social Networks and Texts, pp. 320-332, 2015.

12. S. Kumar, S. Maskara, N. Chandak, and S. Goswami, “Empirical Study of Relationship between Twitter Mood and Stock Market from an Indian Context,” International Journal of Applied Information Systems, vol. 8, no. 7, pp. 33-37, 2015.

13. T. Lansdall-Welfare, F. Dzogang, and N. Cristianini, “Change-Point Analysis of the Public Mood in UK Twitter during the Brexit Referendum,” 2016 IEEE 16th International Conference on Data Mining Workshops (ICDMW), 2016.

14. B. Le and H. Nguyen, “Twitter Sentiment Analysis Using Machine Learning Techniques,” Advanced Computational Methods for Knowledge Engineering Advances in Intelligent Systems and Computing, pp. 279-289, 2015.

15. A. Mitchell and P. Hitlin, “Twitter reaction to events often at odds with overall public opinion,” Pew Research Center, vol. 4, 2013.

16. Natural Language Toolkit. Natural Language Toolkit - NLTK 3.0 documentation (online). Доступно по ссылке: http://www.nltk.org/. [Дата обращения: 18.03.2017]

17. thinkBIG - Patterns in Big Data: Methods, Applications and Implications. thinkBIG. (online). Доступно по ссылке: http://thinkbig.enm.bris.ac.uk/. [Дата обращения: 18.03.2017]

18. Tweepy. Tweepy (online). Доступно по ссылке: http://www.tweepy.org/. [Дата обращения: 18.03.2017]

19. Twitter Developer Documentation - Twitter Developers. Twitter. (online). Доступно по ссылке: https://dev.twitter.com/docs. [Дата обращения: 18.03.2017]

20. Y. Wan and Q. Gao, “An Ensemble Sentiment Classification System of Twitter Data for Airline Services Analysis,” 2015 IEEE International Conference on Data Mining Workshop (ICDMW), 2015.