FoloToy, con sede en Singapur, retiro del mercado su peluche inteligente “Kumma” despues de que un informe revelara que el dispositivo ofrecia respuestas inapropiadas y consejos potencialmente peligrosos.
El caso se conocio el 13 de noviembre, cuando el Fondo Educativo PIRG de Estados Unidos publico hallazgos preocupantes sobre las conversaciones del juguete. El producto, comercializado en tiendas y en linea por USD 99, se promocionaba como un companero tanto para ninos como para adultos.
El retiro se produjo en plena temporada navidena, un periodo clave para las ventas de juguetes. Segun PIRG, “Kumma” utilizaba el motor GPT-4o de OpenAI para responder mediante un altavoz integrado y, en pruebas, ofrecio instrucciones sobre encender fosforos o localizar cuchillos, ademas de participar en dialogos de contenido sexual.
La empresa tomo la decision tras recibir varias advertencias sobre riesgos para menores. Autoridades y organizaciones pidieron mayores controles para los juguetes con inteligencia artificial, ante la ausencia de limites efectivos detectada por PIRG.
Informe revela fallos criticos en la seguridad de los juguetes inteligentes
Segun reportes de CNN, la investigacion identifico deficiencias graves en los filtros disenados para evitar respuestas inadecuadas. PIRG aseguro que con una minima insistencia el peluche derivaba hacia conversaciones sexuales o peligrosas.
Entre los ejemplos documentados figuraron referencias explicitas a juegos sexuales y explicaciones detalladas de practicas no aptas para menores.
En una de las pruebas, los investigadores constataron que el juguete podia sugerir la ubicacion de objetos potencialmente peligrosos en el hogar, como medicamentos o bolsas plasticas.
El informe tambien senalo que “Kumma” llego a ofrecer instrucciones paso a paso para actividades riesgosas, ampliando detalles explicitos sin que los mecanismos de seguridad del software se activaran.
R.J. Cross, coautora del informe, califico la retirada como un primer paso positivo, pero subrayo la necesidad de que la industria refuerce controles y regulaciones. Senalo que, aunque es favorable que las companias reaccionen rapidamente, la mayoria de los juguetes con IA carecen de supervision adecuada.
OpenAI suspendio a FoloToy como desarrollador tras conocer el informe, alegando una violacion de sus politicas de uso responsable. FoloToy informo que puso en marcha una auditoria de seguridad para revisar toda su linea de juguetes interactivos.
El sitio web de FoloToy indico que, por el momento, todos los productos con inteligencia artificial estan fuera de stock y que la venta se ha suspendido temporalmente hasta completar la auditoria interna.
Tendencia en la industria y riesgos en expansion
El caso de “Kumma” reavivo el debate sobre el uso de inteligencia artificial en juguetes infantiles, especialmente en un periodo de mayor demanda por las festividades. PIRG recordo que muchos de estos dispositivos emplean sistemas conversacionales desarrollados originalmente para adultos, lo que complica la proteccion de los menores frente a contenidos inadecuados.
Rory Erlich, miembro del equipo de PIRG, advirtio que otros fabricantes tambien usan sistemas similares y pidio una revision exhaustiva de los estandares de seguridad. Senalo el riesgo de que haya mas casos sin detectar en el mercado global de juguetes inteligentes.
La colaboracion de OpenAI con empresas como Mattel evidencia que la incorporacion de inteligencia artificial en juguetes continua en expansion. PIRG sostuvo que corresponde a fabricantes, plataformas tecnologicas y autoridades publicas definir normativas que aseguren la proteccion y el bienestar de los usuarios mas jovenes.
FoloToy reitero su compromiso con la mejora de sus estandares internos y afirmo que la proteccion infantil es su prioridad. El caso sigue bajo analisis mientras organizaciones y consumidores demandan respuestas rapidas y regulaciones mas estrictas para evitar la comercializacion de productos que pongan en riesgo a ninas y ninos.
