El Proyecto | El Equipo | Resultados | Partners | Contacto
Desarrollo y Evaluación de un detector del discurso de odio en línea en español
En España existe una preocupación creciente por el discurso de odio online y por las conductas construidas sobre prejuicios y estereotipos que pueden lastrar la convivencia social. Es un punto candente puesto que toca el debate acerca de los límites del derecho a la libertad de expresión, pero también por la incorporación de nuevas formas de comunicación. Esta preocupación es reciente, porque los delitos de odio no empiezan a tener relevancia social con ese nombre hasta 2009 y se empieza a trabajar desde las instituciones con las primeras estrategias de acción en 2015.
Estudios e iniciativas anteriores han abordado la monitorización del discurso del odio online en diferentes países, sin embargo, no se aprecia una propuesta articulada de cómo abordar los mensajes de odio online. Desde las instituciones públicas y empresas privadas (principalmente redes sociales) se está empezando a realizar un esfuerzo por comprender este fenómeno y combatirlo con un enfoque común, pero todavía carecen de un marco articulado de objetivos y técnicas que lo solucionen, por lo que el prototipo STOP-HATE pretende aportar una herramienta que facilite estas tareas.
CONTEXTO
En términos generales, el discurso de odio se refiere a todos los discursos que deterioran la imagen de una persona o un grupo de individuos en función de su condición inherente o adquirida. Esto incluye mensajes de odio explícitos, así como cualquier narrativa sutil o marco por el cual se desprecia la imagen de los individuos con el objetivo de ejercer control social. Sin embargo, el discurso de odio ilegal, tal como lo define la Unión Europea (Framework Decision 2008/913/JHA of 28 November 2008), se refiere más específicamente a «todas las conductas que incitan públicamente a la violencia o al odio dirigido contra un grupo de personas o un miembro de dicho grupo definido por referencia a raza, color, religión, ascendencia o origen nacional o étnico».
Cada vez existen más pruebas e investigaciones que demuestran la relación entre el discurso de odio online y los delitos de odio cometidos en el mundo real (Müller & Schwarz, 2018). De hecho, el incremento en España y otros países occidentales de este tipo de contenidos en Internet dirigido a públicos minoritarios o vulnerables (migrantes, refugiados, gitanos, LGBTI, mujeres, musulmanes, etc.) y su relación con las agresiones reales han generado una especial atención por sus importantes implicaciones sociales y científicas. Esto se ha traducido también en los primeros intentos de desarrollar herramientas de base tecnológica que ayuden a la detección automatizada de discurso de odio (Pereira Kohatsu, 2017), si bien no existen actualmente prototipos orientados a transferir este tipo de herramientas a los sectores productivos.
En esta línea, el Gobierno suscribió en septiembre de 2018 un acuerdo de cooperación institucional con el Consejo General del Poder Judicial y la Fiscalía General del Estado para luchar contra el racismo, la xenofobia, la LGBTIfobia y otras formas de Intolerancia, renovando el convenio marco de 2015. En este marco legal, las compañías están haciendo un gran esfuerzo para detectar y eliminar el discurso del odio, sin embargo, la creciente cantidad de datos e información que circula en internet dificulta en ocasiones bloquear esos contenidos y, a su vez, genera nuevas víctimas.
EN QUÉ CONSISTE
Stop-Hate permitirá la identificación y análisis de discursos de odio online contra cuatro tipos de públicos vulnerables:
1. Racismo o xenofobia y migrantes o refugiados;
2. Orientación o identidad sexual;
3. Creencias o prácticas religiosas, incluyendo antisemitismo;
4. Ideología política
mediante la recopilación automatizada y modelado de datos no estructurados con técnicas de procesamiento del lenguaje natural (extracción de palabras y entidades) y aprendizaje automático (análisis de sentimientos, modelado de temas, algoritmos de clasificación etc.).
Será aplicado en primer lugar en la red social Twitter, pero con la posibilidad de ampliarlo a otras redes (como Facebook), a noticias o a comentarios en medios digitales.
OBJETIVOS
El objetivo de esta prueba de concepto es desarrollar y evaluar un detector del discurso del odio en línea en español para monitorizar con técnicas de big data este tipo de mensajes de odio y así proveer a las empresas privadas (consultoras, tecnológicas, medios de comunicación, redes sociales), gobiernos (locales, autonómicos, nacionales) y organizaciones no gubernamentales, de herramientas tecnológicas para contrarrestar sus efectos y combatir los delitos de odio (agresiones y/o amenazas verbales o físicas, etc.).
Con esta herramienta buscamos contrarrestar el incremento en España de los mensajes de odio hacia públicos vulnerables en medios digitales y redes sociales, así como la ausencia de una estrategia nacional independiente y articulada, basada en la monitorización a gran escala para prevenir tanto el discurso como los crímenes de odio.
Los principales objetivos del proyecto son:
- O1. Monitorización e identificación a gran escala de fuentes de discurso de odio contra los principales públicos vulnerables en España.
- O2. Crear un sistema de alerta temprana de discurso de odio en España
- O3. Evaluar y patentar el prototipo para que pueda ser usado por consultoras, empresas tecnológicas, medios de comunicación y entidades gubernamentales y no gubernamentales
INNOVACIÓN Y RETOS
La principal aportación e innovación más relevante del proyecto es la detección de mensajes de odio con un sistema de alerta temprana. Se extraerá una definición global y un conocimiento más amplio sobre el discurso de odio online en España.
El hecho de abordar cuatro grupos de públicos vulnerables y de tipos de odio (1. Racismo o xenofobia y migrantes o refugiados; 2. Orientación o identidad sexual; 3. Creencias o prácticas religiosas, incluyendo antisemitismo; 4. Ideología política) garantiza una observación y análisis más completos que anteriores intentos.
Finalmente, las tareas de filtrado y de identificación del discurso de odio buscarán que este sea aplicable en el contexto nacional español, superando las limitaciones de otros trabajos que trabajan únicamente con una perspectiva lingüística que impide distinguir entre las realidades de los distintos países hispanohablantes. Esto permitirá también que la herramienta pueda replicarse y adaptarse a otros contextos hispanoamericanos.
Proyecto financiado por la Fundación General de la Universidad de Salamanca, como prueba de concepto competitiva [PC-TCUE18- 20_016].