Estudio revela fallas en la moderación de contenido autolesivo en Instagram

Instagram bajo escrutinio: fallas en la moderación de contenido autolesivo preocupan a expertos

Un reciente estudio de la organización danesa Digitalt Ansvar expuso importantes fallas en la moderación de contenido relacionado con autolesiones en Instagram, una plataforma de Meta. Durante un experimento de un mes, los investigadores compartieron 85 imágenes explícitas relacionadas con autolesiones sin que la plataforma eliminara ninguna, a pesar de afirmar que su inteligencia artificial detecta y elimina proactivamente el 99% de este tipo de publicaciones.

El estudio utilizó perfiles falsos de adolescentes, algunos con edades tan jóvenes como 13 años, para simular la interacción en redes sociales y probar la eficacia del algoritmo de Instagram. Los resultados mostraron que no solo no se bloqueaba el contenido problemático, sino que el sistema promovía la interacción entre usuarios que compartían publicaciones similares, facilitando la expansión de estas redes.

De acuerdo con el director de Digitalt Ansvar, Ask Hesby Holm: "Esperábamos que, a medida que las imágenes aumentaran en gravedad, las alarmas se activaran, pero no fue así". Según los investigadores, este hallazgo pone en duda la efectividad de las herramientas de moderación que Meta asegura tener implementadas.

Meta respondió destacando que en la primera mitad de 2024 eliminó más de 12 millones de publicaciones relacionadas con suicidio y autolesiones, reiterando que este tipo de contenido está prohibido en la plataforma. Sin embargo, Lotte Rubæk, psicóloga que formó parte del grupo global de prevención del suicidio de Meta antes de renunciar, criticó los resultados del estudio y aseguró que la inacción de la compañía está agravando los riesgos para los jóvenes vulnerables.

Por otro lado, el informe también plantea que Instagram podría estar incumpliendo la Ley de Servicios Digitales de la Unión Europea, que obliga a las plataformas a identificar y mitigar riesgos para la salud mental de sus usuarios. Según Digitalt Ansvar, la falta de moderación efectiva en redes privadas podría tener "consecuencias graves", como un aumento en los suicidios adolescentes.

MetaInstagramUsuarios