¿Qué Tipo de Sentimientos son Expresados en Tweets de Usuarios con Buena Reputación en el Campo de la Salud?

¿Qué Tipo de Sentimientos son Expresados en Tweets de Usuarios con Buena Reputación en el Campo de la Salud? How do medical authorities state their sentiment in twitter messages? Leila Weitzel

Raul Freire Aguiar

Universidade Federal do Sul e Sudeste do Pará, Faculdade de Computação UNIFESSPA Marabá, Brasil [email protected]

Universidade Federal do Sul e Sudeste do Pará, Faculdade de Computação UNIFESSPA Marabá, Brasil [email protected]

Resumen —Minería de opinión es un proceso utilizado para la extracción automática de conocimiento a partir de las opiniones de otros acerca de algún tema o problema en particular. Además, las opiniones son expresiones subjetivas que describen puntos de vista, perspectivas o sentimientos acerca de entidades, eventos y sus propiedades. La detección de expresiones subjetivas es el acto de identificar si un determinado texto es subjetivo (es decir, una opinión) u objetivo (es decir, un hecho). Esta tarea es considerada como el primer problema y es muy importante para la minería de opinión y análisis de sentimientos. Esta investigación tiene como objetivo analizar un flujo de tweets del sitio de microblogging Twitter. El flujo de datos es pre procesado y clasificado en función de su contenido emocional positivo, negativo y neutro. Los datos analizados se limitan a un conjunto particular de usuarios. En primer lugar, recogemos y procesamos los comentarios publicados en Twitter. A continuación, los contenidos son analizados bajo un enfoque léxico y sintáctico. En los resultados de esta experiencia, detectamos más estados emocionales neutros (31%) que positivos o negativos. También aplicamos métodos estadísticos para inferir si existe correlación entre la reputación de los usuarios y su contenido emocional. Lo encontrado sugiere que no existe una fuerte correlación entre la reputación de los usuarios y su contenido emocional. Desde nuestra observación, la reputación de usuarios no sigue ninguna regla emocional. Palabras Clave - Minería de opinión y análisis de sentimientos, Twitter, SentiWordNet. Abstract — Opinion mining is a process, used for automatic extraction of knowledge from the opinion of others about

Walter Fernando García Rodriguez

Marcela Gomes Heringer

Universidade Federal do Sul e Sudeste do Pará, Faculdade de Computação UNIFESSPA Marabá, Brasil wfernando.grodriguez@ gmail.com

Universidade Federal do Sul e Sudeste do Pará, Faculdade de Computação UNIFESSPA Marabá, Brasil marcelag.heringer@gma il.com

some particular topic or problem. Further, opinions are subjective expressions that describe people's viewpoints, perspectives or feelings about entities, events and theirs properties. Detecting subjective expressions is the task of identifying whether a given text is subjective (i.e. an opinion) or objective (i.e. a reports fact). This task is considered as the first problem and it is very important for opinion mining and sentiment analysis. This research aims to analyze publicized stream of tweets from the Twitter microblogging site. The data stream are preprocessed and classified based on their emotional content as positive, negative and neutral. The data analysis is limited to a particular set of users. Firstly, we collect and process post comments on Twitter. Then the post was analyzed by lexical and syntactic approach. In experiment results, we detects more neutral emotional states than positive or negative (31%). We also applied statistical methods in order to infer if there exist correlation between user reputation and emotional content. The finding suggest that did not exist a strong correlation between user reputation and emotional content. From our observation, user reputation do not follow any emotional rules. Keywords - Sentiment and opinion mining, Twitter, SentiWordNet.

I.

INTRODUCCIÓN

En las últimas décadas, la acelerada proliferación de Blogs, Fórums y Redes Sociales en la Web evidencio la presencia de “opiniones” sobre los más diversos temas. Estos ambientes se han convertido en verdaderas plataformas de información y comunicación, que registran

públicamente pensamientos, opiniones y sentimientos sobre casi todo [1]. Estas condiciones favorables estimularon el estudio y desarrollo de sistemas para evaluar opiniones automáticamente, surgiendo así el área de Análisis de Sentimientos (AS) [2]. AS es el estudio de opiniones, sentimientos y emociones expresadas en textos [2]. Existe una serie de estudios en esta área, tales como, la extracción de elementos relacionados a la opinión [3], la clasificación de opinión (positivo, negativo o neutral) [4], la comparación de sentencias en relación a las opiniones [5] entre otros temas. El comportamiento humano se ve condicionado, en la mayoría de los casos, por como los otros ven y evalúan el mundo. La opinión es un concepto relacionado a los sentimientos, actitudes y emociones y es en este ámbito que se insiere esta investigación, cuyo objetivo principal es analizar la polaridad de los sentimientos presentes en los mensajes publicados en Twitter. Twitter es una Red Social y servicio de Microblogging que permite a sus usuarios intercambiar mensajes con mucha rapidez. Los usuarios de Twitter seleccionados para este estudio son un conjunto de usuarios utilizados en [6]. En este estudio [6], evaluaron la reputación de fuentes de información en el dominio de la salud utilizando como base de datos el Twitter. En especial los autores utilizaron las premisas de Análisis de Redes Sociales (ARS). Como resultado, fue presentado un rank (lista ordenada) de los 1232 usuarios en función de la reputación que estos habían presentado. Por lo tanto esta investigación tiene la intención de evaluar la polaridad de los mensajes que son propagados por estos usuarios. El enfoque adoptado para este análisis tiene como objetivo probar la siguiente hipótesis: “Existe una correlación entre la reputación y la polaridad de los sentimientos expresados por estos usuarios”. Este trabajo está estructurado de la siguiente manera: en la sección 2 son presentados los trabajos relacionados; en la sección 3 son presentados el entorno de la investigación y el marco teórico, en la sección 4 la metodología adoptada; mientras que en la sección 5 son presentados los resultados iniciales de esta investigación. Por último, las conclusiones, trabajos futuros y las referencias. II.

TRABAJOS RELACIONADOS

En esta sección se presentarán los principales trabajos relacionados que guiaron esta investigación. El estudio presentado por [7] examinó los métodos para clasificación de comentarios en la revisión de productos utilizando recursos léxicos como enfoque para detectar sentimientos, explorando a fondo los términos opinativos del SentiWordNet extraídos de la base de datos WordNet y refiriéndose a la utilización eficaz del método de aprendizaje semi-supervisado para clasificación de productos evaluados.

En [8], los autores destacan dos enfoques como los métodos principales para la extracción de la subjetividad y polaridad de palabras, frases o textos automáticamente: el enfoque léxico que involucra cálculos para detectar palabras o frases en documentos; y el enfoque basado en los métodos de aprendizaje de máquina que implica clasificadores en la construcción de instancias marcadas de textos o frases. Y por último, en [1] fue presentado un estudio comparativo entre los ocho métodos más populares propuestos en la literatura: LIWC, Happiness Index, SentiWordNet, SASA, PANAS-t, Emoticons, SenticNet y SentiStreng. Esta investigación tiene como objetivo evaluar el rendimiento de la clasificación en función de las métricas: alcance (amplitud) (midiendo la fracción de mensajes capturados por un método) y acuerdo (midiendo la correlación de la polaridad entre los métodos utilizando una base etiquetada). III.

METODOLOGÍA

A. Ambiente de la investigación Twitter tiene como objetivo la actualización de status mediante el envío de mensajes cortos (de hasta 140 caracteres) llamados de tweets. Ese ambiente es propicio para estudios en el área de AS permitiendo recoger y analizar datos en gran escala [9]. De acuerdo con [2], es posible categorizar informaciones de texto como hechos u opiniones. Para el autor, un hecho puede ser visto como una información de carácter objetivo sobre alguna entidad, algún evento, algún dato o alguna de sus propiedades. Llevando en consideración que la opinión presenta un sentido subjetivo expresado por algún individuo o grupo. El objetivo de la AS no es determinar sobre cual tópico o tema el documento trata (como es realizado en técnicas convencionales de clasificación de texto), sino en descubrir cual es la opinión expresada en el documento y, clasificar su polaridad [10]. B. Herramientas utilizadas y desarrolladas Fue utilizado el algoritmo (más precisamente la clase genérica) que calcula la polaridad de textos de la herramienta SentiWordNet [11]. El algoritmo propuesto por [11], viene siendo ampliamente utilizado en la literatura, lo que permite hacer estudios comparativos entre el nuestro y los otros sobre el mismo tema. Esta herramienta se basa en un diccionario léxico en inglés llamado WordNet [12]. El Wordnet es compuesto por grupos léxicos, tales como: adjetivos, sustantivos, verbos y otras clases gramaticales dentro de un conjunto de sinónimos, llamados de synsets. El algoritmo combina tres scores con synsets del diccionario WordNet para indicar el sentimiento del texto: positivo, negativo y objetivo (neutral) [11]. De acuerdo con [1], los scores, son valores entre [0, 1] obtenidos mediante el método de aprendizaje de máquina semi-supervisado.

Conforme dicho anteriormente, el conjunto de datos es establecido a partir de los hallazgos en [6]. La lista completa contiene 1232 usuarios ordenados en función de su reputación. En este estudio inicial, fueron seleccionados apenas los primeros 46 usuarios de la lista como muestra. La nomenclatura viene del método Snowball que consiste en colectar un gráfico de una red social online siguiendo el enfoque de busca en amplitud. La colecta se inicia a partir del nodo raíz. Al colectar la lista de vecinos de ese nodo, nuevos nodos son descubiertos para luego ser colectados en la siguiente etapa, que sólo termina cuando todos los nodos descubiertos en el primer paso son colectados. En nuestra investigación utilizamos esos usuarios raíz para colectar los tweets que fueron publicados en su línea de tiempo (timeline). Fue implementado un web crawler, cuyo objetivo es hacer una búsqueda sistemática para extraer los tweets de la timeline de los 46 usuarios. El período de la colecta abarca los meses de agosto/septiembre de 2013. Fueron recogidos 86622 tweets, almacenados en formato de texto. Fueron desarrolladas también herramientas para: (i) Análisis Sintáctico (parsing en inglés) de los tweets para la retirada de caracteres especiales tales como /, %, $ e etc. Son aceptadas apenas las letras de a-z, los números 0-9 y los símbolos @ (arroba), # (numeral) y apóstrofo; (ii) Análisis Léxico (conocida como tokenización) tiene como objetivo descomponer el texto en unidades estructurales menores, en nuestro caso las unidades estructurales son las palabras. (iii) Remoción de los stopwords, según [13], una stopword puede ser traducida como “palabra vacía”, ellos aparecen en prácticamente todos los documentos, o en la mayoría de ellos, por eso no son capaces de colaborar en el análisis de la polaridad de un texto. La Fig. 1 ilustra el enfoque metodológico adoptado, dividido en tres etapas: Primera Etapa representa la etapa de extracción de los tweets; la Segunda Etapa se refiere al tratamiento de los tweets colectados, La Tercera Etapa, los conjuntos de prueba creados evaluados recorriendo las clases gramaticales soportadas por el SentiWordNet, y al final es generado un score de cada tweet para cada usuario. Para evaluar la metodología propuesta fueron generados dos conjuntos de prueba, llamados de SinSW sin los stopwords y caracteres especiales y otro ConSW con los stopwords. Hay que señalar también que fueron separados del conjunto de la muestra todos los retweets presentes en la timeline de estos usuarios para que quedaran apenas los mensajes publicados por ellos. El retweet es un mensaje que fue recibido y después fue encaminado, tiene el mismo significado semántico de un reply en un mensaje de correo electrónico.

Figura 1: Visión general del enfoque metodológico adoptado

IV.

RESULTADOS

En esta sección se presentaran los resultados del análisis exploratorio de los datos. Fueron recogidos al total 86622 tweets. La media de tweets por usuarios fue de aproximadamente 1882. La Tabla I muestra la media y desvió (desviación) padrón observados para los scores de los enfoques con y sin stopwords de toda la muestra, es decir, de todos los 86622 tweets. TABLA I: MEDIA Y DESVIÓ (DESVIACIÓN) PADRÓN DE LOS 86622 SCORES CON Y SIN STOPWORDS

Media y Desvió Scores ConSW

Scores SinSW

Media

Media

0,2669

0,3228

Desvió Padrón

Desvió Padrón

0,6114

0,6233

La primera prueba utilizada fue la Prueba de Kolmogorov-Smirnov. Esta prueba está destinada a determinar si una muestra puede ser considerada como derivada de una población con una determinada distribución. La primera hipótesis a ser probada para hacer inferencias para una población a partir de una muestra, es que esta sea aleatoria. En nuestro caso para verificar si el conjunto de datos (86622 scores) muestra distribución normal (Fig. 2 y 3). Así, con un nivel de confianza del 95% no se puede rechazar la hipótesis nula,

es decir, que las dos distribuciones son normales. La calidad de las inferencias hechas por estos métodos depende de cuan cercana es la población en estudio de la normal. Esto quiere decir que los valores de la muestra se encuentran alrededor de la media. La Fig. 4 muestra el diagrama de pizza del porcentaje de la polaridad registrada en el conjunto de datos. El mayor porcentaje se refiere al sentimiento neutral, es decir, sentimiento considerado objetivo. Sumándose la polaridad muy positiva, positiva y poco positiva se tiene aproximadamente 48% de positividad. Histograma Scores Com Stopword 12,0

Contagem

9,0

Siendo así, fue calculado el promedio de todos los scores (positivos, negativos, poco negativo, poco positivo, neutral etc.) de cada usuario y esta promedio será evaluado con el Rank (reputación). La Fig. 5 y 6 muestran los resultados de este análisis. Con un nivel de confianza del 95%, no fue posible establecer una relación entre estas variables, lo que indica que no hay linealidad entre ellas. Como la correlación de Pearson requiere el supuesto de que la relación entre las variables sea lineal optamos por las pruebas de correlación de Spearman Rho y de Kendall Tau. La prueba de correlación de Spearman Rho y de Kendall Tau, son pruebas no paramétricas que pueden ser aplicadas a listas ordenadas y que diferente a la prueba de Pearson no requiere linealidad entre las variables.

6,0

3,0

0,0 0,0

000000,0

000000,0

000000,0

000000,0

Media comSW

Figura 2: Histograma de la distribución de los Scores con stopwords

Histograma Scores Sem Stopword 12,0

Contagem

9,0

Figura 5: Diagrama de dispersión de la regresión lineal entre las variables Rank y Scores sin stopwords

6,0

3,0

0,0 0,0

000000,0

000000,0

000000,0

000000,0

Media SemSW

Figura 3: Histograma de la distribución de los scores sin stopwords

7% 3% 15%

17%

very positive

16%

positive weak positive

neutral weak negative

31%

11%

negative

very negative

Figura 4: Porcentaje total de la polaridad registrada en la muestra

La hipótesis a ser comprobada en esta investigación es determinar si existe correlación entre el Rank propuesto por [6] y los scores (polaridad de los mensajes). Para validar esta hipótesis se utilizó el análisis de regresión para examinar si existe una relación lineal bivariada entre el Rank y los Scores de los enfoques sin y con stopwords.

Figura 6: Diagrama de dispersión de la regresión lineal entre las variables Rank y Scores con stopwords

TABLA II: RESULTADO DE LAS CORRELACIONES NO PARAMÉTRICAS Correlaciones no Paramétricas

Rank Kendall's tau_b

Media ConSW Media SinSW Rank

Spearman's Rho

Media ConSW Media SinSW

Rank

Media ConSW

Media SinSW

100%

-7%

-7%

-7%

100%

100%

-7%

100%

100%

100%

-10%

-10%

-10%

100%

100%

-10%

100%

100%

Los resultados de las pruebas de correlación Spearman Rho y Kendall Tau están ilustrados en la Tabla II. Tanto la prueba unicaudal como la prueba bicaudal mostraron los mismos resultados y por este motivo es mostrado apenas uno de ellos. Es interesante darse cuenta que los promedios (SinSw y ConSW) están fuertemente correlacionados entre sí, correlación de 100%. Lo mismo no se puede observar entre el Rank y los promedios de los scores, lo que sugiere que no existe una relación lineal entre el Rank propuesto por [6] y el grado de polaridad de los mensajes publicados por un usuario. Se calculó la correlación de Pearson entre los 86622 scores con y sin stopwords. Se observó una correlación de 86%, de acuerdo con los resultados encontrados (fuerte correlación) entre los promedios de los scores. V.

Pese a que los usuarios analizados en este trabajo presenten buena reputación en el campo de la salud los mensajes que ellos publican no son necesariamente positivos. En un ingenioso estudio de la Facultad de Medicina de Harvard [14], fue evaluada la influencia del efecto placebo en personas que sufren ataques de migraña crónica. Varias investigaciones ya demostraron que los efectos del placebo estimulan respuestas fisiológicas reales en pacientes. Dicha investigación muestra que la expectativa de mejora creada por los métodos de administración del placebo en la prescripción del medicamento son tan importantes para la eficacia del tratamiento cuanto los efectos farmacológicos del remedio en sí. Pacientes que recibieron mensajes positivos se beneficiaron mucho más de la terapia que aquellos que recibieron mensajes neutrales o negativos. Los investigadores de este estudio estiman que el 50% de la mejora observada en los pacientes, fue debido al efecto placebo, quedando claro la importancia del tipo de mensaje que es dado al paciente en el tratamiento clínico. Basados en este estudio ayudaría, tal vez, que usuarios con buena reputación no sólo transmitiesen mensajes “creíbles”, sino que también podrían ser mensajes con una premeditación positiva. Como trabajos futuros, se propone ampliar este enfoque adoptado a todos los 1232 usuarios de la lista como una manera de destacar los resultados observados en este estudio. Además, existe la intención de analizar la polaridad de los mensajes en función de la línea de tiempo en la que fueron publicados. Finalmente, se pretende comprobar la existencia de cambios en la polaridad de estos mensajes basados en algún suceso del cotidiano.

CONCLUSIÓN

En esta investigación se buscó examinar la polaridad de sentimientos de los mensajes que son publicados en la red social Twitter. El enfoque adoptado tuvo por objeto probar la hipótesis de que existe una correlación entre la reputación de un usuario en particular y la polaridad de sus opiniones, o incluso, que el sentimiento expresado en sus mensajes podría influenciar en su reputación. Los resultados mostraron que hay una fuerte correlación entre los scores de las muestras ConSW y SinSW, lo que indica que la eliminación de stopwords no influye directamente en la evaluación de la polaridad. Esto contradice la expectativa de que la eliminación de las “palabras dichas vacías” podría hacer diferencia en el análisis de sentimientos. Se observó también que el sentimiento promedio expresado en esta muestra de tweets es de positivo a neutral. Se encontró que los scores tienen una distribución normal alrededor de la media, validando el análisis estadístico calculado. Y, por último, con un factor de confianza de 95% se puede inferir que no hay correlación entre la reputación (rank) y la polaridad de los mensajes publicados. Sugiriendo que el sentimiento expresado en los tweets no afecta en la inferencia de la reputación.

REFERENCIAS [1]

[2]

[3]

[4]

[5]

[6]

[7]

P. Gonçalves, M. Araújo, F. Benevenuto, and M. Cha, "Comparing and Combining Sentiment Analysis Methods," Procs. of ACM COSN, 2013. B. LIU, "Sentiment analysis and opinion mining," Synthesis Lectures on Human Language Technologies, vol. 5, pp. 1-167, 2012. S. Bethard, H. Yu, A. Thornton, V. Hatzivassiloglou, and D. Jurafsky, "Automatic extraction of opinion propositions and their holders," in 2004 AAAI Spring Symposium on Exploring Attitude and Affect in Text, 2004, p. 2224. S.-M. Kim and E. Hovy, "Automatic identification of pro and con reasons in online reviews," in Proceedings of the COLING/ACL on Main conference poster sessions, 2006, pp. 483-490. A. Abbasi, H. Chen, and A. Salem, "Sentiment analysis in multiple languages: Feature selection for opinion classification in Web forums," ACM Transactions on Information Systems (TOIS), vol. 26, p. 12, 2008. L. Weitzel, J. P. M. de Oliveira, and P. Quaresma, "Exploring Trust to Rank Reputation in Microblogging," in Database and Expert Systems Applications, 2013, pp. 434-441. A. Hamouda and M. Rohaim, "Reviews classification using sentiwordnet lexicon," in World Congress on Computer Science and Information Technology, 2011.

[8]

[9]

[10]

[11]

[12] [13]

[14]

M. Taboada, J. Brooke, M. Tofiloski, K. Voll, and M. Stede, "Lexicon-based methods for sentiment analysis," Computational linguistics, vol. 37, pp. 267-307, 2011. P. Gonçalves, F. Benevenuto, and V. Almeida, "O Que Tweets Contendo Emoticons Podem Revelar Sobre Sentimentos Coletivos?," in II Brazilian Workshop on Social Network Analysis and Mining (BraSNAM 2013), Maceió, 2013. E. Boiy and M.-F. Moens, "A machine learning approach to sentiment analysis in multilingual Web texts," Information retrieval, vol. 12, pp. 526-558, 2009. A. Esuli and F. Sebastiani, "Sentiwordnet: A publicly available lexical resource for opinion mining," in Proceedings of LREC, 2006, pp. 417-422. G. A. Miller, "WordNet: a lexical database for English," Communications of the ACM, vol. 38, pp. 39-41, 1995. L. K. Wives and S. Loh, "Recuperação de informações usando a expansão semântica e a lógica difusa," in Congreso Internacional En Ingenieria Informatica, ICIE, 1998. S. Kam-Hansen, M. Jakubowski, J. M. Kelley, I. Kirsch, D. C. Hoaglin, T. J. Kaptchuk, and R. Burstein, "Altered placebo and drug labeling changes the outcome of episodic migraine attacks," Science translational medicine, vol. 6, pp. 218ra5-218ra5, 2014.