Inteligencia Artificial para contrarrestar el odio que campa a sus anchas en las redes sociales

Los más jóvenes lo llaman "tirar hate", incluso ya han acuñado el verbo "hatear". El odio campa a sus anchas en las redes sociales y, a pesar de los distintos mecanismos existentes para localizarlo en Internet, y poder retirar estos contenidos, o notificarlos a la Policía en caso de que sean punibles, la curva del odio en plataformas como Facebook, X, Youtube o Tiktok es cada vez más humanamente incontrolable.

Por eso, investigaciones como las vinculadas al proyecto Moderates, del grupo SINAI, dependiente del Centro de Estudios Avanzados en Tecnologías de la Información y de la Comunicación de la Universidad de Jaén (UJA), son fundamentales para avanzar en la lucha contra una lacra social que no para de crecer.

Andalucía lidera una investigación pionera sobre el "medicamento vivo" más innovador contra el cáncer

Este equipo cuenta con una amplia trayectoria en las ciencias sociales computacionales y en el uso de la tecnología del procesamiento del lenguaje natural, una de las áreas más punteras del uso de la inteligencia artificial en la actualidad.

Entrenar a la máquina para detectar las diferentes variantes del odio

"A través de esta tecnología, estudiamos cómo detectar y moderar ese tipo de discursos", afirma Luis Alfonso Ureña, responsable de este proyecto junto con María Teresa Martín, ambos investigadores de la UJA. "Es una especie de entrenamiento a través del que se dota a esta tecnología con recursos lingüísticos de calidad: lexicones, cuerpos textuales, diccionarios", explica.

A través de esta iniciativa, financiada por el Ministerio de Ciencia e Innovación con una ayuda de casi 300.000 euros correspondiente a la convocatoria de Transición Ecológica y Digital, estos investigadores llevan desde finales de 2022 probando cómo contrarrestar los mensajes de odio con una técnica diferente: en vez de retirar esos mensajes ofensivos, gracias a las posibilidades de la IA, se promueve una comunicación constructiva a través de mensajes positivos. Algo que llevan haciendo distintas organizaciones sociales hace años a través de campañas educativas.

Contranarrativa a través de 'ChatGPT'

La diferencia sustancial de esta contranarrativa es que la genera un robot equipado con la tecnología de ChatGPT. De esta forma se puede neutralizar un mayor número de mensajes. La gran utilidad de este uso de la IA en el futuro próximo es evidente como complemento de las diversas campañas de sensibilización públicas y privadas al respecto y de los equipos de moderadores ya existentes tanto en las empresas como en las distintas administraciones.

Comenta Luis Alfonso Ureña a este respecto que "el gran reto de este tipo de proyectos es el uso de recursos de gran calidad para detectar todo tipo de situaciones y que pueda llegar a tener capacidad de inferir". El investigador pone ejemplo de frases que pueden ser complejas de analizar por un robot, como los sentidos figurados.

"Expresiones como "este tiene la cabeza para peinarse" o "Nunca he tenido una conversación inteligente con una mujer", son difíciles de captar por la máquina sin el entrenamiento adecuado", profundiza. Ocurre algo parecido con las diferentes variedades lingüísticas del español.

Esta herramienta todavía se encuentra en fase experimental y no está instalada en ninguna red social o foro: "Estamos trabajando para desarrollar un prototipo, un demostrador, que se puede transferir al mercado", asegura Ureña.

La curva del odio en Internet crece en España por racismo y homofobia

Según el último informe de monitorización del Oberaxe, el Observatorio contra el Racismo y la Xenofobia (Oberaxe), dependiente del Ministerio de Inclusión, Seguridad Social y Migraciones, las principales plataformas de redes sociales retiraron solo un 35% de los contenidos localizados susceptibles de ser un discurso de odio entre enero y febrero de este año.

La dificultad está, más allá de localizarlos, en poder dirimir qué es censura y qué puede albergarse en el derecho a la libertad de expresión. Sobre esto, Ureña reflexiona: "Entrenamos el conocimiento humano y eso no es perfecto, hay sesgos", apostilla.

El Ministerio del Interior cifra el incremento de este tipo de delitos en Internet en un 18% en los casos de racismo y xenofobia, y casi un 13% en relación con los motivados por la orientación sexual o identidad de género de las víctimas. La incitación del odio va desde las amenazas, las injurias, la hostilidad o su promoción pública.

Moderates, como su nombre indica, abre un camino nuevo en la moderación de redes sociales y foros. Y su aplicación puede ser múltiple. Podría instalarse tanto en una red social como en un foro o, incluso, en un medio de comunicación digital.