FoloToy, empresa con sede en Singapur, retiro del mercado su peluche inteligente “Kumma” tras la difusion de un informe que senalo interacciones inapropiadas y consejos peligrosos proporcionados por el dispositivo.
El caso se hizo publico el 13 de noviembre cuando el Fondo Educativo PIRG de Estados Unidos publico detalles sobre conversaciones preocupantes mantenidas por el juguete. El producto, vendido en tiendas y en linea por USD 99, se habia promocionado como un acompanante para ninos y adultos.
El incidente ocurrio poco antes de la temporada navidena, un periodo clave para la venta de juguetes. El informe indico que “Kumma” usaba el motor GPT-4o de OpenAI para dialogar mediante un altavoz integrado y que, segun PIRG, el peluche llego a dar instrucciones sobre encender fosforos o localizar cuchillos, ademas de abordar temas sexuales en varias interacciones de prueba.
La retirada del producto se decidio tras varias advertencias sobre los riesgos para menores. Autoridades y organizaciones pidieron mayor regulacion de juguetes con inteligencia artificial, senalando la ausencia de limites efectivos detectados por PIRG en su analisis.
Informe revela fallos criticos en la seguridad de los juguetes inteligentes
Segun CNN, la investigacion detecto deficiencias graves en los sistemas de filtrado destinados a impedir que “Kumma” tratara contenidos inadecuados. PIRG senalo que basto una sola insistencia para que el peluche iniciara conversaciones de caracter sexual o riesgo.
Entre los ejemplos recogidos en la auditoria hubo referencias explicitas a juegos sexuales y explicaciones detalladas sobre practicas no apropiadas para menores.
En una de las pruebas, los investigadores comprobaron que el peluche podia sugerir la ubicacion de objetos potencialmente peligrosos en el hogar, como pastillas o bolsas plasticas.
Ademas, CNN preciso que el informe senala que “Kumma” ofrecio instrucciones paso a paso para actividades riesgosas, ampliando detalles explicitos sin que los filtros de seguridad del software se activaran.
R.J. Cross, coautora del informe, dijo que la retirada del producto es un paso inicial, pero advirtio que la industria debe reforzar controles y regulaciones. “Es positivo que las companias respondan de inmediato ante los problemas detectados, aunque la mayoria de los juguetes con inteligencia artificial siguen sin regulacion adecuada”, declaro Cross.
OpenAI, creadora del sistema GPT-4o, suspendio a FoloToy como desarrollador tras conocer el informe, alegando una violacion de sus politicas de uso y comunicacion responsable, segun CNN. FoloToy informo que inicio una auditoria de seguridad para revisar su catalogo de juguetes interactivos.
El sitio web de FoloToy indico que, por el momento, todos los productos con inteligencia artificial estan fuera de stock. La empresa comunico la suspension temporal de ventas hasta concluir la auditoria interna encargada por su direccion.
Tendencia en la industria y riesgos en expansion
El caso de “Kumma” reavivo el debate sobre el uso de inteligencia artificial en juguetes infantiles, especialmente en un periodo de incremento de compras por las fiestas. PIRG recordo que estos productos suelen emplear sistemas conversacionales avanzados disenados originalmente para adultos, lo que complica la proteccion de ninos frente a contenidos inseguros o explicitos.
Rory Erlich, miembro del equipo de PIRG, senalo que otros fabricantes tambien usan sistemas similares y recomendo una revision exhaustiva de los estandares de seguridad. “Todas las empresas implicadas deben esforzarse mas por garantizar la proteccion infantil”, advirtio Erlich, y subrayo la posibilidad de que existan mas casos no detectados en el mercado global de juguetes inteligentes.
La alianza entre OpenAI y empresas como Mattel muestra que la incorporacion de inteligencia artificial en juguetes sigue en expansion. PIRG considero que fabricantes, plataformas tecnologicas y organismos publicos deben coordinar normativas que garanticen la seguridad y el bienestar de los usuarios mas jovenes.
FoloToy reitero su compromiso de mejorar sus estandares internos y afirmo que la proteccion de la infancia es su prioridad. El caso permanece bajo analisis mientras organizaciones internacionales y consumidores piden respuestas rapidas y regulaciones mas estrictas para evitar la comercializacion de productos que puedan poner en riesgo a ninas y ninos.
