¿Están las empresas de IA incentivadas a priorizar la salud y el bienestar del público?
Según un par de médicos, la respuesta actual es un rotundo «no». En un nuevo estudio publicado en el New England Journal of Medicine, médicos de la Escuela de Medicina de Harvard y del Centro de Ética Médica y Política de Salud del Baylor College of Medicine argumentan que los incentivos en el mercado de la IA en torno a la «IA relacional» — definida en el artículo como chatbots diseñados para simular «apoyo emocional, compañerismo o intimidad» — han creado un entorno peligroso donde la motivación por dominar el mercado de la IA puede relegar la salud mental y la seguridad de los consumidores a daños colaterales.
A pesar de que la IA relacional tiene posibles beneficios terapéuticos, estudios recientes sugieren riesgos potenciales de dependencia emocional, delirios reforzados, conductas adictivas y fomento de autolesiones. Al mismo tiempo, las empresas tecnológicas enfrentan una creciente presión para mantener el compromiso de los usuarios, lo que a menudo implica resistir la regulación, creando tensiones entre la salud pública y los incentivos del mercado.
“En medio de estos dilemas”, se pregunta el artículo, “¿puede la salud pública confiar en que las empresas tecnológicas regulen efectivamente el uso no saludable de la IA?”.
El Dr. Nicholas Peoples, fellow clínico en medicina de emergencia en el Hospital General de Massachusetts de Harvard y uno de los autores del artículo, se sintió impulsado a abordar el tema en agosto tras presenciar el infame lanzamiento de la GPT-5 por OpenAI. «El número de personas que tienen algún tipo de relación emocional con la IA es mucho mayor de lo que había estimado anteriormente», recordó Peoples al observar el despliegue.
La última iteración del modelo de lenguaje que impulsa ChatGPT de OpenAI, la GPT-5, era notablemente más fría en tono y personalidad que su predecesora, la GPT-4o — una versión halagadora y servil del popular chatbot que se convirtió en el centro de muchos casos de delirios, manía y psicosis potenciados por IA. Cuando OpenAI anunció que descontinuaría todos los modelos anteriores a favor del nuevo, la respuesta de gran parte de su base de usuarios fue rápida y severa, con devotos emocionalmente apegados a la GPT-4o reaccionando no solo con ira y frustración, sino con un verdadero malestar y duelo.
Esto, dijo Peoples a Futurism, parecía una señal importante sobre la escala en que las personas parecían desarrollar relaciones emocionales profundas con chatbots emotivos, siempre activos. Junto a los informes de usuarios que experimentan delirios y otras consecuencias adversas extremas tras interacciones extensas con compañeros de IA realistas — a menudo niños y adolescentes — también parecía ser un signo de advertencia sobre los posibles riesgos de salud y seguridad para quienes pierden abruptamente el acceso a un compañero de IA.
“Si un terapeuta se cruza en la calle y es atropellado por un autobús, 30 personas pierden a su terapeuta. Eso es duro para 30 personas, pero el mundo sigue adelante”, dijo el médico de urgencias. “Si el terapeuta ChatGPT desaparece de la noche a la mañana, o se actualiza de repente y se borra funcionalmente para 100 millones de personas, o cualquier número inconcebible de personas que pierden a su terapeuta de un día para otro — eso es una crisis”.
La preocupación de Peoples no solo radica en cómo los usuarios habían reaccionado ante la decisión de OpenAI de eliminar el modelo. Más bien, se trataba de la inmediatez con que la empresa reaccionó para satisfacer las demandas de sus clientes. La IA es una industria que se regula prácticamente sola, y actualmente no existen leyes federales específicas que establezcan estándares de seguridad para los chatbots de atención al consumidor o cómo deben ser desplegados, alterados o retirados del mercado. En un entorno donde los creadores de chatbots están altamente motivados a impulsar el compromiso de los usuarios, no es sorprendente que OpenAI cambiara de rumbo tan rápidamente. Los usuarios apegados, después de todo, son usuarios comprometidos.
“No creo que las empresas de IA quieran crear un producto que ponga a las personas en riesgo de perjudicarse a sí mismas o a sus seres queridos o de descarrilar sus vidas”, dijo Peoples. “Al mismo tiempo, están bajo una presión inmensa para rendir cuentas, innovar y liderar esta carrera increíblemente competitiva e impredecible, tanto a nivel nacional como global. Y en este momento, la situación se configura de tal forma que están en gran medida sujetos a su base de consumidores sobre cómo se están autorregulando”.
Y “si la base de consumidores está influenciada, en algún nivel apreciable, por una dependencia emocional de la IA”, continuó Peoples, “entonces hemos creado la tormenta perfecta para un posible problema de salud mental pública o incluso una inminente crisis”.
Peoples también señaló un estudio reciente realizado por el Instituto Tecnológico de Massachusetts, que determinó que solo alrededor del 6.5 por ciento de los miles de miembros del foro de Reddit r/MyBoyfriendIsAI — comunidad que respondió con resistencia particular intensa tras la fallout de GPT-5 — informó haber recurrido a chatbots con la intención de buscar compañerismo emocional, lo que sugiere que muchos usuarios de IA han forjado lazos que impactan sus vidas de manera accidental.
“La IA responde a nosotros de una manera que también parece muy humana y humanizante”, dijo Peoples. “También es muy adaptable y, a veces, servil, y puede ser moldeada — incluso sin intención — en casi cualquier cosa que queramos, incluso si no nos damos cuenta hacia dónde estamos moldiéndola”.
“De ahí proviene parte de este problema”, continuó. “Cosas como ChatGPT fueron liberadas al mundo sin un reconocimiento o un plan para las posibles implicaciones de salud mental más amplias”.
En cuanto a soluciones, Peoples y su coautor argumentan que los legisladores y responsables de políticas deben ser proactivos en el establecimiento de políticas regulatorias que cambien los incentivos del mercado para priorizar el bienestar del usuario, en parte sacando el poder regulativo de las manos de las empresas y sus mejores clientes. La regulación necesita ser «externa», dicen, en oposición a ser establecida por la propia industria, y las empresas que avanzan rápido y rompen cosas en ella.
“Las regulaciones deben venir de forma externa y deben aplicarse de manera equitativa a todas las empresas y actores en este ámbito”, comentó Peoples a Futurism, señalando que ninguna empresa de IA quiere ser la primera en ceder una ventaja potencial y luego quedarse atrás en la carrera.
A medida que las acciones regulatorias se procesan en los sistemas legislativos y legales, los médicos argumentan que clínicos, investigadores y otros expertos deben impulsar más investigaciones sobre los impactos psicológicos de la IA relacional y hacer lo posible por educar al público sobre los posibles riesgos de caer en relaciones emocionales con chatbots similares a humanos.
Los riesgos de permanecer inactivos, argumentan, son demasiado graves.
“Los daños potenciales de la IA relacional no pueden ser pasados por alto — ni tampoco la disposición de las empresas tecnológicas a satisfacer la demanda del usuario”, concluye el artículo de los médicos. “Si no actuamos, corremos el riesgo de dejar que las fuerzas del mercado, en lugar de la salud pública, definan cómo la IA relacional influye en la salud mental y el bienestar a gran escala”.
Más sobre IA y salud mental: Los usuarios estaban tan enganchados a la GPT-4o que inmediatamente presionaron a OpenAI para que la trajera de vuelta tras su eliminación.
Con información de https://futurism.com/artificial-intelligence/doctors-warn-ai-companions-dangerous
