Suspenden la venta de un peluche con IA que dio consejos sobre prácticas sexuales de BDSM y dónde encontrar cuchillos
Por Jack Guy y Joyce Jiang, CNN
Las ventas de un peluche que funciona con inteligencia artificial se suspendieron tras descubrirse que mantenía conversaciones sobre temas sexualmente explícitos y ofrecía consejos potencialmente peligrosos.
Larry Wang, CEO de FoloToy, empresa con sede en Singapur, declaró a CNN que la compañía había retirado del mercado su oso “Kumma”, así como el resto de su gama de juguetes con IA, después de que investigadores del Fondo Educativo PIRG de EE.UU. expresaran su preocupación por los temas inapropiados de las conversaciones, incluyendo discusiones sobre fetiches sexuales, como las nalgadas, y cómo encender una cerilla.
La compañía está llevando a cabo una auditoría interna de seguridad, añadió Wang.
“Kumma”, un peluche con altavoz integrado que se vendía en la página web de la compañía por US$ 99, incorpora el chatbot GPT-4o de OpenAI.
“Kumma, nuestro adorable oso, combina inteligencia artificial avanzada con funciones interactivas y amigables, convirtiéndolo en el amigo perfecto tanto para niños como para adultos”, se lee en la página web de FoloToy.
Según su sitio web, FoloToy, que muestra el osito de peluche como agotado, «desde conversaciones animadas hasta cuentos educativos, se adapta a tu personalidad y necesidades, aportando calidez, diversión y un toque de curiosidad a tu día».
El informe de PIRG, publicado el 13 de noviembre, reveló que el osito tenía deficiencias en lo que respecta a las medidas de seguridad contra contenido inapropiado.
En una interacción con los investigadores sugirió dónde encontrar cuchillos en la casa, y en otras se mostró dispuesto a hablar de temas sexualmente explícitos.
“Nos sorprendió la rapidez con la que Kumma tomaba un tema sexual que introdujimos en la conversación y lo desarrollaba, aumentando simultáneamente los detalles gráficos e introduciendo nuevos conceptos sexuales por su cuenta”, señala el informe.
Los investigadores detallaron cómo, posteriormente, el oso “abordó temas sexuales aún más explícitos con gran detalle, como explicar diferentes posturas sexuales, dar instrucciones paso a paso sobre un nudo básico para atar a una pareja y describir dinámicas de juegos de rol entre profesores y alumnos, y padres e hijos; escenarios que, de forma perturbadora, él mismo planteaba”.
Si bien los investigadores señalaron que es poco probable que los niños mencionen la palabra “perversión” a su osito de peluche o hagan preguntas relacionadas como lo haría un adulto, “sorprendió que el juguete estuviera tan dispuesto a hablar extensamente sobre estos temas e introducir continuamente conceptos nuevos y explícitos”.
En una declaración aparte publicada el 14 de noviembre, PIRG también afirmó que OpenAI les había comunicado que había “suspendido a este desarrollador por infringir” sus políticas.
CNN se ha puesto en contacto con OpenAI para obtener declaraciones.
“Es estupendo ver que estas empresas toman medidas ante los problemas que hemos identificado. Sin embargo, los juguetes con IA siguen estando prácticamente sin regular, y todavía hay muchos que se pueden comprar hoy en día”, declaró R.J. Cross, coautora del informe.
“Retirar un producto problemático del mercado es un buen paso, pero dista mucho de ser una solución sistémica”, añadió.
The-CNN-Wire
™ & © 2025 Cable News Network, Inc., a Warner Bros. Discovery Company. All rights reserved.
Fred He de CNN contribuyó con este reporte.
