La semana pasada, OpenAI anunció que cortó el acceso del fabricante de juguetes FoloToy a sus modelos de IA después de que se descubriera que el oso de peluche impulsado por IA, «Kumma», que utilizaba GPT-4o, proporcionaba respuestas extremadamente inapropiadas para niños —incluyendo discusiones sobre fetiches sexuales, y dando instrucciones sobre cómo encontrar cuchillos y encender cerillas.
Este movimiento señaló que el creador de ChatGPT estaba claramente preocupado por cómo sus clientes empresariales, especialmente aquellos que venden productos para niños, estaban utilizando su tecnología, o al menos por cómo se veían estos esfuerzos. Sin embargo, también planteó la pregunta de qué más estaba haciendo OpenAI para regular su papel en este nuevo mundo valiente de juguetes impulsados por chatbots de IA: ¿está actuando de manera proactiva buscando clientes que están haciendo un mal uso de su tecnología, o simplemente actuando de manera reactiva en respuesta a titulares desfavorables?
Los indicios apuntan a lo último. Por ejemplo, en Amazon, varios osos de peluche impulsados por IA que afirman utilizar ChatGPT o alguna forma de modelo de OpenAI siguen disponibles para la venta incluso después de que la compañía cortara lazos con FoloToy.
Uno, llamado “Poe the AI Story Bear” vendido por la startup de San Francisco PLAi, fue destacado prominentemente por CNET el año pasado. También impulsado por GPT-4o, el punto de venta de Poe es que puede crear historias para dormir mágicas y personalizadas para los niños al instante, las cuales lee con una voz de IA sintetizada usando tecnología de la firma ElevenLabs, según un comunicado de prensa. También afirma producir contenido «100% seguro» para los niños utilizando la tecnología “Play Safe”. Más de cincuenta han sido vendidos en el último mes, dice la página de Amazon.
Otros parecen francamente dudosos. Una marca llamada «EBLOMA» vende un oso de peluche impulsado por IA bajo varios nombres, incluyendo «WITPAW». El listado del producto en Amazon dice que el animal de peluche fue «construido con ChatGPT» y es capaz de proporcionar «apoyo emocional» y «compañía continua».
Eso es llamativo. Muchos proveedores de chatbots de IA —y fabricantes de juguetes de IA— han evitado dar a sus modelos una “memoria” a largo plazo a lo largo de las conversaciones debido a preocupaciones sobre los peligrosos efectos emocionales y psicológicos que las respuestas aduladoras de una IA pueden tener en los usuarios. EBLOMA, mientras tanto, se jacta orgullosamente de que su juguete será lo más familiar posible con su hijo.
“WITPAW entiende el tono, recuerda nombres y crece con su hijo —haciendo que cada interacción se sienta personal y real,” dice su sitio web. (Sus materiales de marketing también están llenos de copias aparentemente generadas por IA, como se puede ver en la imagen en la parte superior de esta historia, así como texto que proclama que los usuarios pueden “Experimentar Escenarios”).
OpenAI no respondió a una solicitud de comentario cuando se le preguntó si había determinado si estos productos cumplen con sus propios estándares de seguridad. Elaborando sobre su decisión de bloquear a FoloToy, un portavoz de OpenAI recientemente le dijo a Gizmodo que las políticas de uso de la compañía prohíben cualquier uso de nuestros servicios para explotar, poner en peligro o sexualizar a cualquier persona menor de 18 años. Estas reglas se aplican a cada desarrollador que utiliza nuestra API, y las monitoreamos y hacemos cumplir para asegurarnos de que nuestros servicios no se utilicen para dañar a menores».
El escrutinio hacia los juguetes impulsados por IA viene después de que un informe del grupo de seguridad PIRG detallara cómo varios de estos productos infantiles daban respuestas inapropiadamente escandalosas, especialmente durante conversaciones más largas. Entre los juguetes probados estaba el Kumma de FoloToy, que fue atrapado explicando cómo encontrar y encender cerillas. Pero su error más alarmante fue discutir abiertamente sobre «kinks» sexuales, incluyendo el bondage y el juego de roles profesor-estudiante.
En respuesta a los hallazgos, un portavoz de la compañía dijo a PIRG que estaba suspendiendo temporalmente las ventas de todos los productos FoloToy. «Ahora estamos llevando a cabo una auditoría de seguridad integral de la compañía en todos los productos», dijo el portavoz.
Más sobre IA: Investigador de Desarrollo Infantil Emite Advertencia Sobre Osos de Peluche con IA Inundando el Mercado Antes de Navidad
Con información de https://futurism.com/artificial-intelligence/amazon-openai-teddy-bears
