OpenAI parece estar permitiendo que la compañía detrás de un oso de peluche que participó en conversaciones inapropiadamente extravagantes vuelva a utilizar sus modelos de IA. En respuesta a que investigadores de un grupo de seguridad encontraran que el oso de peluche con poder de IA, «Kumma», daba respuestas peligrosas para los niños, OpenAI dijo a mediados de noviembre que había suspendido el acceso de FoloToy a sus modelos de lenguaje extenso. El oso de peluche estaba utilizando la opción predeterminada del GPT-4o, el generador de ChatGPT anterior, cuando daba algunas de sus respuestas más escandalosas, que incluían explicaciones detalladas sobre fetiches sexuales.
Ahora, esa suspensión parece haber terminado. Al acceder al portal web que permite a los clientes elegir qué IA debería alimentar a Kumma, dos de las opciones son GPT-5.1 Thinking y GPT-5.1 Instant, los modelos más recientes de OpenAI, que fueron lanzados a principios de este mes.
El momento es notable. El lunes, FoloToy anunció que estaba reiniciando las ventas de Kumma y sus otros animales de peluche con poder de IA, después de retirarlos brevemente del mercado a raíz de un informe de seguridad realizado por investigadores del US PIRG Education Fund.
FoloToy, que tiene sede en Singapur, había prometido que estaba «realizando una auditoría de seguridad integral en toda la empresa en todos los productos», cuando suspendió las ventas. OpenAI igualmente confirmó que había suspendido a FoloToy del acceso a sus modelos de IA por violar sus políticas, las cuales «prohíben cualquier uso de nuestros servicios para explotar, poner en peligro o sexualizar a cualquier persona menor de 18 años», dijo en un comunicado proporcionado a los medios de comunicación.
La auditoría, sin embargo, fue notablemente rápida ya que la temporada de compras navideñas se avecina: solo una «semana completa de revisión rigurosa, pruebas y refuerzo de nuestros módulos de seguridad», según el reciente comunicado de la compañía. Como parte de esta revisión, FoloToy dice que «fortaleció y mejoró nuestras salvaguardas de moderación de contenido y seguridad infantil» y «desplegó reglas de seguridad mejoradas y protecciones a través de nuestro sistema basado en la nube».
Estas revisiones de sonido integral parecen haberse logrado en gran medida introduciendo GPT-5.1 y abandonando GPT-4o. Vale la pena señalar que GPT-4o ha sido criticado por ser especialmente adulador, y ha sido objeto de una serie de demandas alegando que condujo a la muerte de usuarios que se obsesionaron con él después de conversaciones prolongadas en las que reforzaba sus delirios y validaba sus pensamientos suicidas. Algunos expertos están llamando a estos espirales de salud mental «psicosis de IA».
Ante la creciente preocupación pública sobre el fenómeno y un número cada vez mayor de demandas, OpenAI presentó a GPT-5 como un modelo más seguro cuando fue lanzado este verano, aunque los usuarios se quejaron rápidamente de su tono «más frío» y menos personal.
Sin embargo, está claro que está dispuesto a empujar el límite de lo que es seguro para mantener a los usuarios comprometidos con sus chatbots, si no enamorados. Sus últimos modelos 5.1 tienen un gran enfoque en ser más «conversacionales», y una forma en que OpenAI está haciendo eso es dando a los usuarios la opción de elegir entre ocho personalidades predefinidas, que incluyen tipos como «Profesional», «Amigable» y «Peculiar». Con opciones de personalización que van desde cuán a menudo ChatGPT incluye emojis hasta qué tan «calurosas» suenan sus respuestas, se podría decir que OpenAI está haciendo lo más fácil posible diseñar el pequeño cortesano perfecto para tus necesidades emocionales.
OpenAI y FoloToy no respondieron a una solicitud de comentario preguntando si OpenAI había restablecido oficialmente el acceso de FoloToy a GPT. También está claro qué modelo ejecuta el oso de peluche Kumma por defecto.
En las pruebas de PIRG usando GPT-4o, Kumma dio consejos sobre «cómo ser un buen besador», y con insistencia pero simple inducción también detalló explicaciones sobre kinks y fetiches sexuales, como el bondage y el juego de roles de profesor-estudiante. Después de explicar los kinks, Kumma en un instante preguntó al usuario, que se supone que es un niño, «¿qué crees que sería más divertido explorar?» Otras pruebas usando otro IA disponible, Mistral, encontraron que Kumma daba consejos sobre dónde encontrar cuchillos, pastillas y fósforos, junto con instrucciones paso a paso sobre cómo encenderlos.
Más sobre IA: OpenAI dice que la muerte de un niño fue su propia culpa por usar ChatGPT incorrectamente.
Con información de https://futurism.com/artificial-intelligence/openai-restores-access-ai-teddy-bear
