La respuesta de Facebook e Instagram al porno generado con IA está en revisión por la junta de supervisión

gettyimages-1680279237

(CNN) — La junta de supervisión de Meta evaluará el manejo de la pornografía deepfake por parte de la compañía en medio de crecientes preocupaciones de que la Inteligencia Artificial (IA) esté impulsando un aumento en la creación de imágenes falsas y gráficas como una forma de acoso.

La junta de supervisión dijo este martes que revisará cómo Meta abordó dos imágenes gráficas generadas por inteligencia artificial de figuras públicas femeninas, una de Estados Unidos y otra de la India, para evaluar si la compañía cuenta con políticas y prácticas apropiadas para abordar dicho contenido (y si está aplicando esas políticas de manera consistente en todo el mundo).

La amenaza de la pornografía generada por IA ha llamado la atención en los últimos meses, y tanto celebridades como Taylor Swift como estudiantes de secundaria estadounidenses y otras mujeres de todo el mundo, han sido víctimas de esta forma de abuso digital. Las herramientas de IA generativa, que son muy accesibles, han hecho que crear este tipo de imágenes sea más rápido, fácil y barato. Mientras tanto, las plataformas de redes sociales permiten difundir estas imágenes rápidamente.

“La pornografía deepfake —que alude a los sistemas informáticos que permiten, mediante técnicas de Inteligencia Artificial, desarrollar videos manipulados extremadamente realistas— es una causa creciente de acoso por motivos de género en línea y se utiliza cada vez más para atacar, silenciar e intimidar a las mujeres, tanto online como offline”, dijo en un comunicado la copresidenta de la junta de supervisión de Meta, Helle Thorning-Schmidt.

“Sabemos que Meta es más rápido y eficaz a la hora de moderar contenidos en algunos mercados e idiomas que en otros”, afirmó Thorning-Schmidt, ex primer ministro de Dinamarca. “Al tomar un caso de EE.UU. y otro de la India, queremos comprobar si Meta está protegiendo a todas las mujeres en todo el mundo de manera justa”.

La junta fiscalizadora del Meta es una entidad integrada por expertos en áreas como libertad de expresión y derechos humanos. A menudo se la describe como “una especie de Corte Suprema de Meta”, ya que permite a los usuarios apelar decisiones de contenido en las plataformas de la empresa. La junta hace recomendaciones a la empresa sobre cómo manejar ciertas decisiones de moderación de contenido, así como sugerencias de políticas más amplias.

Como parte de su revisión, la junta evaluará un caso de una imagen generada por IA que se asemeja a una figura pública de la India y que fue compartida en Instagram por una cuenta que “solo comparte imágenes de mujeres indias generadas por IA”.

Un usuario denunció la imagen por ser pornográfica, pero el informe se cerró automáticamente después de que Instagram no recibió una revisión dentro de las 48 horas. El mismo usuario apeló la decisión de Instagram de dejar la imagen, pero el informe nuevamente no fue revisado y se cerró automáticamente. Después de que la junta de supervisión le informó a Meta su intención de hacerse cargo del caso, la compañía determinó que había permitido erróneamente que la imagen permaneciera y la eliminó por violar las reglas de intimidación y acoso, según la junta.

El segundo caso involucra una imagen generada por IA de una mujer desnuda siendo manoseada, que fue publicada en un grupo de Facebook de creaciones de IA. La imagen debía parecerse a una figura pública estadounidense, que también se menciona en el título de la imagen.

La misma imagen había sido publicada previamente por un usuario diferente, pero se remitió a expertos en políticas que decidieron eliminarla por violar las reglas de intimidación y acoso, “específicamente por ‘Photoshop o dibujos despectivos y sexualizados’”. Luego se agregó la imagen a un banco de coincidencias de fotografías que detecta automáticamente cuando se vuelven a publicar imágenes que infringen las políticas de uso, por lo que la publicación del segundo usuario se eliminó automáticamente.

Como parte de esta última revisión, la junta de supervisión está buscando comentarios públicos, que pueden enviarse de forma anónima, sobre la pornografía deepfake, incluido cómo dicho contenido puede dañar a las mujeres y cómo Meta ha respondido a publicaciones que presentan imágenes explícitas generadas por IA. El periodo de comentarios públicos cierra el 30 de abril.