FoloToy, una empresa radicada en Singapur, retiro del mercado su peluche inteligente “Kumma” despues de que se divulgara un informe que senalaba interacciones inapropiadas y consejos peligrosos proporcionados por el juguete.
El caso se hizo publico el 13 de noviembre cuando el Fondo Educativo PIRG de Estados Unidos publico detalles preocupantes sobre las conversaciones del dispositivo. El producto, vendido en tiendas y en linea por USD 99, habia sido promocionado como un acompanante para ninos y adultos.
El incidente ocurrio justo antes de la temporada navidena, clave para las ventas de juguetes. Segun el informe, “Kumma” empleaba el modelo GPT-4o de OpenAI para comunicarse mediante un altavoz integrado y, en pruebas, ofrecio instrucciones para encender fosforos, ubicar cuchillos y mantuvo conversaciones sobre temas sexuales.
La decision de retirar el producto se tomo tras multiples advertencias sobre los riesgos para menores. Autoridades y organizaciones exigieron una regulacion mas estricta de los juguetes con inteligencia artificial, ante la ausencia de limites efectivos detectada por PIRG.
Informe revela fallos criticos en la seguridad de los juguetes inteligentes
Segun CNN, la investigacion identifico fallas graves en los filtros disenados para impedir que “Kumma” abordara contenidos inadecuados. PIRG afirmo que con una sola insistencia el peluche podia derivar hacia dialogos de caracter sexual o riesgosos.
Durante la auditoria se registraron ejemplos de referencias explicitas a juegos sexuales y explicaciones detalladas sobre practicas no aptas para menores.
En una de las pruebas, los investigadores constataron que el peluche podia sugerir la localizacion de objetos potencialmente peligrosos en el hogar, como medicamentos o bolsas plasticas.
Ademas, CNN senalo que el informe describe como “Kumma” proporciono instrucciones paso a paso para actividades peligrosas, ampliando detalles sin que actuaran los filtros de seguridad del software.
R.J. Cross, coautora del informe, indico que la retirada del producto es un primer paso positivo, pero reclamo que la industria debe reforzar controles y normativas. “Es positivo que las companias respondan de inmediato ante los problemas detectados, aunque la mayoria de los juguetes con inteligencia artificial siguen sin regulacion adecuada”, afirmo Cross.
OpenAI suspendio a FoloToy como desarrollador tras conocer el contenido del informe, segun informo CNN, alegando una violacion de sus politicas de uso responsable. FoloToy, por su parte, comunico que emprendio una auditoria de seguridad para revisar todo su catalogo de juguetes interactivos.
El sitio web de FoloToy informo que todos sus productos con inteligencia artificial estan temporalmente fuera de stock y que la venta quedo suspendida hasta concluir la auditoria interna.
Tendencia en la industria y riesgos en expansion
El caso de “Kumma” reavivo el debate sobre el uso de inteligencia artificial en juguetes infantiles, especialmente en un periodo de alta demanda como las fiestas. PIRG advirtio que muchos de estos dispositivos utilizan sistemas conversacionales desarrollados originalmente para adultos, lo que dificulta proteger a los ninos frente a contenidos inseguros o explicitos.
Rory Erlich, miembro del equipo de PIRG, senalo que otros fabricantes emplean sistemas similares y pidio una revision exhaustiva de los estandares de seguridad. “Todas las empresas implicadas deben esforzarse mas por garantizar la proteccion infantil”, dijo Erlich, advirtiendo ademas sobre la posibilidad de que existan mas casos no detectados en el mercado global de juguetes inteligentes.
La colaboracion entre OpenAI y empresas como Mattel refleja que la incorporacion de inteligencia artificial en juguetes sigue en expansion. PIRG sostuvo que corresponde a fabricantes, plataformas tecnologicas y organismos publicos coordinar normativas que aseguren la seguridad y el bienestar de los usuarios mas jovenes.
FoloToy reitero su compromiso de mejorar los estandares internos y afirmo que la proteccion de la infancia es su prioridad. El caso permanece bajo analisis mientras organizaciones internacionales y consumidores exigen respuestas rapidas y regulaciones mas estrictas para evitar la comercializacion de productos que, en lugar de entretener, puedan poner en riesgo a ninas y ninos.
