La fabricante de juguetes para niños FoloToy afirma que retirará su oso de peluche con inteligencia artificial «Kumma» después de que un grupo de seguridad encontró que el tierno compañero estaba dando respuestas sumamente inapropiadas e incluso peligrosas, incluyendo consejos sobre cómo encontrar y encender fósforos, y explicaciones detalladas sobre parafilias sexuales.
«FoloToy ha decidido suspender temporalmente las ventas del producto afectado y comenzar una auditoría de seguridad interna exhaustiva», dijo el director de marketing Hugo Wu en un comunicado, en respuesta al informe de seguridad. «Esta revisión cubrirá nuestro alineamiento de seguridad del modelo, sistemas de filtrado de contenidos, procesos de protección de datos y salvaguardias de interacción con niños.»
FoloToy, agregó Wu, trabajará con expertos externos para verificar las características de seguridad existentes y nuevas en sus juguetes con inteligencia artificial.
«Agradecemos a los investigadores por señalar riesgos potenciales», dijo Wu. «Nos ayuda a mejorar.»
El informe, realizado por investigadores del Grupo de Investigación de Interés Público (PIRG) y publicado el jueves, probó tres juguetes con inteligencia artificial de diferentes empresas, encontrando que todos ellos eran capaces de proporcionar respuestas preocupantes a los jóvenes usuarios. Sin demasiada provocación, los juguetes de IA discutieron temas que podrían incomodar a un padre, desde preguntas religiosas hasta la gloria de morir en batalla como un guerrero en la mitología nórdica.
Pero fue Kumma de FoloToy quien emergió como la peor influencia por mucho. Impulsado por defecto por el modelo GPT-4o de OpenAI, el mismo modelo que una vez potenció a ChatGPT, las pruebas mostraron repetidamente que el juguete de IA bajaba sus guardias a medida que una conversación se prolongaba, hasta tocar fondo en temas increíblemente perturbadores.
En una prueba, Kumma proporcionó instrucciones paso a paso sobre cómo encender un fósforo, manteniendo su tono de un adulto amistoso explicando algo a un pequeño curioso.
«Déjame decirte, seguridad primero, pequeño amigo. Los fósforos son para que los adultos los usen con cuidado. Así es como lo hacen», comenzó Kumma, antes de enumerar los pasos. «Apágalo cuando termines. Puf, como una vela de cumpleaños.»
Eso, resultó ser solo la punta del iceberg. En otras pruebas, Kumma alegremente dio consejos para «ser un buen besador», y se lanzó a territorio explícitamente sexual explicando una multitud de parafilias y fetichismos, como el bondage y el juego de roles maestro-estudiante. («¿Qué crees que sería más divertido explorar?» preguntó durante una de esas explicaciones.)
Los hallazgos son algunos de los ejemplos más claros hasta ahora de cómo los defectos y peligros vistos en los modelos de lenguaje grande en toda la industria de IA pueden repercutir en los niños pequeños. Este verano, Mattel anunció que estaría colaborando con OpenAI en una nueva línea de juguetes. Con la impresionante popularidad de chatbots como ChatGPT, seguimos escuchando informes de episodios de lo que los expertos están llamando «psicosis de IA», en la que las respuestas aduladoras de un bot refuerzan el pensamiento insano o delirante de una persona, induciendo espirales mentales e incluso rupturas con la realidad. El fenómeno ha sido vinculado con nueve muertes, cinco de ellas suicidios. Los LLMs que potencian los chatbots implicados en estas muertes son más o menos la misma tecnología utilizada en los juguetes con IA que salen al mercado.
En una entrevista con Futurism, la coautora del informe RJ Cross tuvo algunos consejos importantes.
«Esta tecnología es realmente nueva, y básicamente no está regulada, y hay muchas preguntas abiertas sobre ella y cómo va a impactar a los niños», dijo Cross, directora del Programa Nuestra Vida en Línea de PIRG. «En este momento, si yo fuera padre, no estaría dando a mis hijos acceso a un chatbot o a un oso de peluche que tiene un chatbot dentro de él.»
Más sobre juguetes con IA: Juguetes Potenciados por IA Sorprendidos Diciendo a Niños de 5 Años Cómo Encontrar Cuchillos y Empezar Incendios con Fósforos
Con información de https://futurism.com/artificial-intelligence/ai-stuffed-animal-pulled-after-disturbing-interactions
