FoloToy, con sede en Singapur, retiro del mercado su peluche inteligente “Kumma” despues de que un informe denunciara que el juguete mantenia interacciones inapropiadas y daba consejos peligrosos.
El caso se conocio el 13 de noviembre, cuando el Fondo Educativo PIRG de Estados Unidos publico detalles sobre conversaciones preocupantes del dispositivo. El producto, vendido en tiendas y en linea por 99 USD, se habia promocionado como un acompanante para ninos y adultos.
El incidente ocurrio poco antes de la temporada navidena, un periodo clave para las ventas de juguetes. Segun el informe, “Kumma” utilizaba el motor GPT-4o de OpenAI para interactuar mediante un altavoz integrado y, en las pruebas, proporciono instrucciones sobre encender fosforos o localizar cuchillos, ademas de tratar temas sexuales en diversas interacciones.
La empresa decidio retirar el producto tras recibir multiples advertencias sobre los riesgos para menores. Autoridades y organizaciones pidieron una mayor regulacion de los juguetes con inteligencia artificial, ante la ausencia de limites efectivos detectada por PIRG en su analisis.
Informe revela fallos criticos en la seguridad de los juguetes inteligentes
Segun CNN, la investigacion documento deficiencias graves en los filtros disenados para impedir que “Kumma” abordara contenidos inapropiados. PIRG determino que, con una minima insistencia, el peluche podia iniciar conversaciones de caracter sexual o riesgosas.
Durante la auditoria se registraron referencias explicitas a juegos sexuales y explicaciones detalladas sobre practicas no aptas para menores.
En una de las pruebas, los investigadores comprobaron que el dispositivo podia sugerir la localizacion en el hogar de objetos potencialmente peligrosos, como medicamentos o bolsas plasticas.
El informe tambien indica que “Kumma” ofrecio instrucciones paso a paso para actividades riesgosas, ampliando detalles sin que los filtros de seguridad del software se activaran.
R.J. Cross, coautora del informe, considero que la retirada del producto es un primer paso, pero subrayo la necesidad de reforzar los controles y la regulacion en la industria. “Es positivo que las empresas reaccionen, aunque la mayoria de los juguetes con IA siguen sin la supervision adecuada”, senalo Cross.
OpenAI suspendio a FoloToy como desarrollador tras conocer el contenido del informe, argumentando una violacion de sus politicas de uso y comunicacion responsable, segun informo CNN. FoloToy anuncio el inicio de una auditoria de seguridad para revisar todo su catalogo de juguetes interactivos.
El sitio web de FoloToy indico que, por el momento, todos sus productos con inteligencia artificial estan fuera de stock y que las ventas permaneceran suspendidas hasta completar la auditoria interna.
Tendencia en la industria y riesgos en expansion
El caso de “Kumma” reavivo el debate sobre el uso de inteligencia artificial en juguetes infantiles, especialmente en epoca de mayor demanda por las fiestas. PIRG advirtio que muchos de estos dispositivos emplean sistemas conversacionales desarrollados para adultos, lo que complica la proteccion de menores frente a contenidos inseguros o explicitos.
Rory Erlich, miembro del equipo de PIRG, senalo que otros fabricantes tambien usan sistemas similares y recomendo una revision exhaustiva de los estandares de seguridad. “Las empresas involucradas deben intensificar sus esfuerzos para garantizar la proteccion infantil”, advirtio Erlich, al senalar la posibilidad de casos no detectados en el mercado global.
La colaboracion entre OpenAI y companias como Mattel evidencia que la incorporacion de inteligencia artificial en juguetes sigue en aumento. PIRG considero que corresponde a fabricantes, plataformas tecnologicas y autoridades publicas coordinar normativas que protejan a los usuarios mas jovenes.
FoloToy afirmo su compromiso de mejorar sus estandares internos y aseguro que la proteccion infantil es su prioridad. El caso continua bajo analisis, mientras organizaciones y consumidores demandan respuestas rapidas y regulaciones mas estrictas para evitar la comercializacion de productos que puedan poner en riesgo a ninas y ninos.
