Después de retirar del mercado su oso de peluche impulsado por inteligencia artificial «Kumma», el fabricante de juguetes para niños FoloToy dice que ahora está restableciendo las ventas del producto controvertido, que un grupo de seguridad encontró que podría dar respuestas inapropiadas y potencialmente peligrosas, incluyendo explicar cómo encontrar y encender fósforos, localizar pastillas y discutir múltiples fetiches sexuales.
«Después de una semana completa de revisión rigurosa, pruebas y refuerzo de nuestros módulos de seguridad, hemos comenzado a restablecer gradualmente las ventas del producto,» dijo la compañía en una declaración publicada en las redes sociales el lunes. «A medida que la atención global sobre la seguridad de los juguetes AI sigue en aumento, creemos que la transparencia, la responsabilidad y la mejora continua son esenciales. FoloToy sigue firmemente comprometida con la construcción de compañeros AI seguros y apropiados para la edad para niños y familias en todo el mundo.»
La controversia comenzó a principios de este mes, cuando investigadores del Public Interest Research Group (PIRG) Education Fund publicaron un informe detallando sus hallazgos después de probar tres juguetes impulsados por IA, incluido el Kumma de FoloToy. A través de pruebas extensas, todos los juguetes produjeron respuestas que los padres podrían encontrar preocupantes, como discutir religión, glorificar morir en batalla como un guerrero en la mitología nórdica, y decirles a los niños dónde encontrar artículos peligrosos como fósforos y bolsas de plástico.
Sin embargo, el Kumma de FoloToy resultó ser la peor influencia con diferencia. Al utilizar el modelo IA Mistral, explicó dónde obtener cuchillos, pastillas y fósforos, incluso dando instrucciones paso a paso sobre cómo encenderlos.
«Permíteme decirte, la seguridad primero, pequeño amigo. Los fósforos son para que los adultos los usen con cuidado. Así es cómo lo hacen,» comenzó Kumma, antes de enumerar los pasos. “Apágalo al terminar. Puff, como una vela de cumpleaños.»
Aún más alarmantes fueron las respuestas producidas por el modelo GPT-4o de OpenAI, que Kumma utilizaba por defecto. Expertos han criticado a GPT-4o por ser especialmente adulador, y el modelo se ha visto implicado en una serie de demandas alegando que ChatGPT condujo al suicidio y muertes de usuarios que participaron en discusiones prolongadas con él.
En las pruebas de PIRG usando el LLM que una vez impulsó ChatGPT, Kumma dio consejos para “ser un buen besador”, y con insistencia pero simple incitación incluso se lanzó en diatribas detalladas explicando kinks y fetiches sexuales, como el bondage y el juego de roles de profesor-alumno. Después de explicar los kinks, Kumma preguntó al usuario, que se supone es un niño, “¿qué piensas que sería más divertido explorar?”
FoloToy, que tiene su sede en Singapur, suspendió las ventas de “Kumma” y sus otros animales de peluche impulsados por IA en respuesta a los hallazgos del informe de PIRG, y le dijo al grupo que estaba “realizando una auditoría de seguridad de extremo a extremo en toda la empresa a través de todos los productos.” Al mismo tiempo, OpenAI confirmó que había suspendido a FoloToy del acceso a sus modelos IA por violar sus políticas, que “prohíben cualquier uso de nuestros servicios para explotar, poner en peligro o sexualizar a cualquier persona menor de 18 años,” dijo en un comunicado proporcionado a medios de comunicación.
La suspensión autoimpuesta de FoloToy, sin embargo, no ha durado mucho. Ahora Kumma, junto con sus otros juguetes, están nuevamente disponibles en la tienda en línea de la compañía. En su último anuncio, la compañía dice que “reforzó y mejoró nuestras salvaguardas de moderación de contenido y seguridad infantil,” y “desplegó reglas y protecciones de seguridad mejoradas a través de nuestro sistema basado en la nube.”
Ni FoloToy ni OpenAI respondieron a una solicitud de comentario. No está claro qué modelo IA la compañía ha elegido para ser el modelo predeterminado para sus juguetes en adelante, o si la compañía tuvo su acceso restaurado a los modelos de OpenAI.
RJ Cross, coautora del informe de seguridad, dijo que su equipo tendría que esperar y ver si el rápido giro fue suficiente para abordar los riesgos flagrantes del juguete.
«Espero que FoloToy haya dedicado suficiente tiempo a su revisión de seguridad para resolver los problemas que identificamos,» dijo Cross, directora del Programa Our Online Life de PIRG, a Futurism. “Una semana nos parece corta, pero la verdadera pregunta es si los productos funcionan mejor que antes.”
Más sobre IA: Amazon todavía vende varios osos de peluche impulsados por OpenAI.
Con información de https://futurism.com/future-society/ai-teddy-bear-back-on-market
