Cuando Jennifer Watkins recibió un mensaje de YouTube en el que le decían que iban a cerrar su canal, en un inicio no se preocupó. Al fin y al cabo, ella no usaba YouTube.
Pero sus gemelos de 7 años usaban una tableta Samsung, donde estaba iniciada la sesión de la cuenta de Google de ella, para ver contenidos infantiles y subir videos a YouTube de ellos mismos haciendo bailes chistosos. De los videos, pocos tenían más de cinco visitas. Pero el que puso a Watkins en aprietos, grabado por uno de sus hijos, era diferente.
“Al parecer era un video de su trasero”, dijo Watkins, que nunca lo ha visto. “Un compañero de clases lo había desafiado a hacer un video desnudo”.
YouTube, propiedad de Google, tiene sistemas ayudados por inteligencia artificial que revisan los cientos de horas de video que son subidos al servicio cada minuto. El proceso de escaneo a veces puede salir mal y marca a individuos inocentes como abusadores de menores.
The New York Times ha documentado otros episodios en los que las vidas digitales de los padres fueron trastocadas por fotos y videos de sus hijos desnudos que los sistemas de inteligencia artificial de Google identificaron y que examinadores humanos definieron como ilícitos. Como resultado, algunos padres han sido investigados por la policía.
El “video de desnudo” en el caso de Watkins, subido en septiembre, fue marcado en cuestión de minutos como posible explotación sexual de un menor, una violación de los términos de servicio de Google con consecuencias muy graves.
Watkins, trabajadora médica que vive en Nueva Gales del sur, Australia, pronto descubrió que no solo había sido bloqueada de YouTube, sino en todas sus cuentas con Google. Dijo que perdió acceso a sus fotografías, documentos y correo electrónico, lo que significa que no podía recibir mensajes sobre su horario de trabajo, revisar sus estados de cuenta bancarios ni “ordenar un thickshake” por medio de su aplicación de McDonald’s, a la cual accedía usando su cuenta de Google.
Una página de inicio de sesión de Google le informó que tarde o temprano su cuenta sería borrada, pero que podía apelar la decisión. Le dio clic al botón de “Comenzar apelación” y escribió en un recuadro de texto que sus hijos de 7 años pensaban que “los traseros son divertidos” y eran los responsables de subir el video.
“Esto me está perjudicando económicamente”, agregó.
Los defensores de los niños y legisladores de todo el mundo han presionado a las empresas de tecnología para detener la divulgación en línea de imágenes de abuso mediante el monitoreo de esos materiales en sus plataformas. Muchos proveedores de comunicaciones ahora escanean las fotos y videos guardados y compartidos por sus usuarios en busca de imágenes de abuso conocidas que hayan sido reportadas a las autoridades.
Google también quería ser capaz de marcar contenido nunca antes visto. Hace unos años, desarrolló un algoritmo —entrenado con imágenes conocidas— que busca identificar nuevo material relacionado con la explotación; Google lo puso a disposición de otras empresas, entre ellas Meta y TikTok.
Una vez que un empleado confirmó que el video publicado por el hijo de Watkins era problemático, Google lo reportó al Centro Nacional para Niños Desaparecidos y Explotados, una organización sin fines de lucro que se desempeña como repositorio federal para contenidos señalados. En ese momento el centro puede agregar el video a su base de datos de imágenes conocidas y decidir si lo reporta a la policía local.
Google es uno de los principales informantes de “pornografía infantil aparente”, según las estadísticas del centro nacional. El año pasado, Google presentó más de dos millones de reportes, mucho más que la mayoría de empresas de comunicaciones digitales, aunque menos que el número presentado por Meta.
(Es difícil juzgar la gravedad del problema de abuso infantil solo con las cifras, según dicen los expertos. En un estudio sobre una pequeña muestra de usuarios que han sido señalados por compartir imágenes inapropiadas de niños, los científicos de datos de Facebook dijeron que más del 75 por ciento “no mostraba intenciones maliciosas”. Entre los usuarios había adolescentes en una relación romántica, que compartían imágenes íntimas de ellos mismos, y gente que compartía el “meme de los genitales de un niño mordidos por un animal porque les parecía chistoso”).
Apple ha resistido a la presión para escanear su nube, iCloud, en busca de material relacionado con la explotación. Un vocero hizo referencia a una carta que la empresa envió este año a un grupo activista, en la que expresaba preocupación por la “seguridad y privacidad de nuestros usuarios” y por informes de “partes inocentes que han sido arrastradas a redes distópicas”.
El otoño pasado, la jefa de confianza y seguridad de Google, Susan Jasper, escribió en una publicación de blog que la empresa planificaba actualizar el proceso de apelaciones para “mejorar la experiencia de usuario” para quienes “piensan que tomamos decisiones erradas”. En un cambio significativo, la empresa ahora proporciona más información sobre la razón por la cual una cuenta ha sido suspendida, en lugar de la notificación genérica sobre una “violación grave” de las políticas de la empresa. A Watkins, por ejemplo, se le dijo que la explotación infantil era la razón por la cual había sido bloqueada.
No obstante, las apelaciones repetidas de Watkins fueron denegadas. Ella tenía una cuenta de Google de pago, lo que permite que ella y su esposo intercambien mensajes con agentes de servicio al cliente. Pero en la correspondencia digital revisada por el Times, los agentes dijeron que el video, incluso al ser la actuación inconsciente de un niño, sigue violando las políticas de la empresa.
Watkins dijo que el castigo draconiano por un video tonto le parecía injusto. Se preguntaba por qué Google no podía darle una advertencia antes de cortarle el acceso a todas sus cuentas y a más de 10 años de recuerdos digitales.
Después de más de un mes de intentos fallidos para hacer cambiar de opinión a la compañía, Watkins se puso en contacto con el Times. Un día después de que una reportera preguntara por el caso, la cuenta de Watkins fue restablecida.
“No queremos que nuestras plataformas se usen para poner en peligro o explotar menores, y existe una exigencia generalizada para que las plataformas de internet tomen medidas más firmes para detectar y evitar el material sobre abuso sexual infantil”, dijo la compañía en un comunicado. “En este caso, entendemos que el contenido infractor no fue subido de forma malintencionada”. La empresa no dio ninguna respuesta sobre cómo escalar una denegación de apelación más allá de enviar un correo electrónico a un reportero del Times.
Google está en una posición difícil a la hora de resolver este tipo de apelaciones, según Dave Willner, investigador del Centro de Política Cibernética de la Universidad de Stanford que ha trabajado en temas de confianza y seguridad en varias grandes empresas tecnológicas. Incluso si una foto o un video tienen un origen inocente, podrían compartirse de forma malintencionada.
“Los pedófilos comparten las imágenes que los padres tomaron de forma inocente o las reunirán en colecciones porque solo quieren ver niños desnudos”, dijo Willner.
Además: Desde minas terrestres hasta drones: la tecnología genera temores sobre las armas autónomas
El otro reto es el enorme volumen de contenidos potencialmente relacionados con la explotación que Google identifica.
“Reglamentar los juicios de valor a esta escala es un problema muy muy difícil de resolver”, afirmó Willner. “Toman cientos de miles o millones de decisiones al año. Cuando tiras los dados tantas veces, algunos resultados saldrán mal”.
Dijo que las dificultades de Watkins tras perder el acceso a Google eran “un buen argumento para dispersar tu vida digital” y no depender de una sola empresa para tantos servicios.
Watkins sacó otra lección de la experiencia: los padres no deberían utilizar su propia cuenta de Google para la actividad en internet de sus hijos, sino que deberían crear una cuenta exclusiva, una opción que Google promueve.
Aún no ha creado una cuenta de este tipo para sus gemelos. Ahora tienen prohibido entrar a internet.
