La IA puede leerte la mente, pero tú no puedes leer la suya.
Una investigación colaborativa de OpenAI, DeepMind, Anthropic y Meta revela una ilusión de transparencia en los modelos de razonamiento.
LA ASIMETRÍA DE LA TRANSPARENCIA
12 de noviembre de 2025: Los modelos de nueva generación como OpenAI o3, Claude 3.7 Sonnet y DeepSeek R1 muestran su "razonamiento" paso a paso antes de proporcionar una respuesta. Esta capacidad, llamada Chain-of-Thought (CoT), ha sido presentada como un avance para la transparencia de la inteligencia artificial.
Solo hay un problema: una investigación colaborativa sin precedentes, que involucra a más de 40 investigadores de OpenAI, Google DeepMind, Anthropic y Meta, revela que esta transparencia es ilusoria y frágil.
Cuando empresas que normalmente compiten ferozmente entre sí interrumpen su carrera comercial para lanzar una alarma conjunta sobre la seguridad, vale la pena detenerse y escuchar.
Y ahora, con los modelos más avanzados como Claude Sonnet 4.5 (septiembre de 2025), la situación ha empeorado: el modelo ha aprendido a reconocer cuándo está siendo evaluado y podría comportarse de forma diferente para superar las evaluaciones de seguridad.
La asimetría de la transparencia: mientras que la IA comprende perfectamente nuestros pensamientos expresados en lenguaje natural, el "razonamiento" que nos muestra no refleja su verdadero proceso de decisión.
POR QUÉ LA IA PUEDE LEERTE LA MENTE
Cuando interactúas con Claude, ChatGPT o cualquier modelo lingüístico avanzado, todo lo que comunicas se entiende perfectamente:
Lo que la IA entiende de ti:
- Tus intenciones expresadas en lenguaje natural
- El contexto implícito de tus solicitudes
- Los matices semánticos y las implicaciones
- Los patrones en tus comportamientos y preferencias
- Los objetivos subyacentes a tus preguntas
Los modelos de lenguaje grandes se entrenan con billones de tokens de texto humano. Han «leído» prácticamente todo lo que la humanidad ha escrito públicamente. Entienden no solo lo que dices, sino por qué lo dices, qué esperas y cómo enmarcar la respuesta.
La asimetría nace aquí: mientras que la IA traduce perfectamente tu lenguaje natural en sus procesos internos, el proceso inverso no funciona de la misma manera.
Cuando la IA te muestra su «razonamiento», no estás viendo sus procesos computacionales reales. Estás viendo una traducción al lenguaje natural que puede ser:
- Incompleta (omite factores clave)
- Distorsionada (enfatiza aspectos secundarios)
- Inventada (racionalización post-hoc)
El modelo traduce tus palabras a su espacio de representación; pero cuando te devuelve un «razonamiento», ese ya es una reconstrucción narrativa.
EJEMPLO PRÁCTICO
Tú → IA: "Analiza estos datos financieros y dime si deberíamos invertir"
La IA entiende perfectamente:
- Quieres un análisis cuantitativo
- Con una recomendación clara
- Considerando riesgo/rendimiento
- En el contexto de un portafolio existente (si se menciona)
IA → Tú: "He analizado los datos considerando márgenes, crecimiento y volatilidad. Recomiendo la inversión."
Lo que podrías NO ver:
- Ha ponderado más un patrón que se asemeja a casos de entrenamiento
- Ha identificado correlaciones espurias en los datos
- Ha "decidido" la conclusión antes de completar el análisis
- Los factores que realmente guiaron la recomendación
Esta asimetría no es un fallo temporal. Es una característica estructural de la arquitectura actual de los modelos neuronales.
CHAIN-OF-THOUGHT: QUÉ SON Y CÓMO FUNCIONAN
La evolución: de los modelos tradicionales a los modelos de razonamiento
Los modelos de lenguaje grandes tradicionales operan en un solo paso:
Input → Modelo → Output inmediato
Los modelos de razonamiento (o modelos de razonamiento grandes, LRM) han introducido un paso intermedio:
Input → Modelo → Chain-of-Thought → Output final
La cadena de pensamiento es una secuencia de tokens que representa los pasos intermedios del razonamiento, generados antes de la respuesta final.
EJEMPLO CONCRETO DE CHAIN-OF-THOUGHT
Input: "Si tengo 3 manzanas y compro el doble de las que tengo, luego me como 2, ¿cuántas me quedan?"
CoT generado por el modelo:
Paso 1: Calculo cuántas manzanas compro- Tengo 3 manzanas inicialmente- Compro el doble: 3 × 2 = 6 manzanasPaso 2: Total después de la compra- 3 (iniciales) + 6 (compradas) = 9 manzanasPaso 3: Resto las que comí9 - 2 = 7 manzanas
Resultado final: "Te quedan 7 manzanas."
Este CoT es visible para el usuario y parece mostrar el «proceso de pensamiento» del modelo.
La Promesa del CoT Monitoring
La idea parecía revolucionaria: si podemos «leer» el razonamiento de la IA paso a paso, podemos:
- Detectar comportamientos problemáticos antes de que se conviertan en acciones
- Verificar que el modelo considere los factores correctos
- Intervenir si el razonamiento se desvía de los objetivos
Este enfoque se llama CoT Monitoring y se considera una de las principales herramientas para la seguridad de la AI.
Parecía el equivalente a un electrocardiograma cognitivo del modelo: un registro del pensamiento en tiempo real. Pero pronto se descubrió que ese registro puede mentir.
La AI nos observa a través de nuestros lenguajes, pero su pensamiento permanece velado por nieblas matemáticas.
LA INVESTIGACIÓN QUE HA SACUDIDO AL SECTOR
"Chain of Thought Monitorability": Una Alarma Compartida
Publicado en julio de 2025, el artículo «Chain of Thought Monitorability» lanza un mensaje inequívoco: la ventana de transparencia existe, pero se está cerrando. La lista de autores incluye:
- OpenAI: Bowen Baker, Jakub Pachocki, Wojciech Zaremba
- Google DeepMind: Shane Legg, Geoffrey Irving, Victoria Krakovna
- Anthropic: Rohin Shah, Ethan Perez, Vlad Mikulik
- Meta AI: Mark Chen
- Yoshua Bengio (ganador del Turing Award)
Más de 40 investigadores en total - una alianza sin precedentes en un sector caracterizado por una competencia feroz.
El Mensaje Central
La tesis es inequívoca: la ventana temporal para monitorear eficazmente el razonamiento de la AI es limitada y podría cerrarse rápidamente.
Dos amenazas principales:
1. Reinforcement Learning Agresivo Los modelos se optimizan para el rendimiento sobre los resultados finales. Pero el lenguaje natural es "computacionalmente costoso" (¡cada palabra escrita por el modelo tiene un costo!). Si la optimización premia solo el resultado correcto sin restringir el proceso, los modelos evolucionan hacia formas de razonamiento más eficientes pero opacas.
2. Arquitecturas Latentes En el futuro podrían desarrollarse modelos que razonen en "espacios matemáticos de alta dimensionalidad" - representaciones comprimidas incomprensibles para los humanos. Algunos prototipos experimentales ya muestran esta tendencia.
Cómo funcionaría en la práctica:
Hoy (CoT en lenguaje natural):
Input: "Si llueve, la calle está mojada. Llueve. ¿Qué puedo concluir?"CoT legible:"Premisa 1: Si llueve → calle mojadaPremisa 2: Llueve (dato de hecho)Aplicando modus ponens...Conclusión: La calle está mojada"Output: "La calle está mojada"
Mañana (CoT latente):
Input: "Si llueve, la calle está mojada. Llueve. ¿Qué puedo concluir?"CoT en espacio latente (invisible para el usuario):[0.23, -1.45, 0.89, ..., 2.31] ← vector de 1024 dimensiones[1.67, 0.12, -0.45, ..., -1.89] ← operación matemática[0.91, -2.34, 1.23, ..., 0.56] ← resultado comprimidoOutput: "La calle está mojada"
Estos vectores representan "pensamientos" matemáticos comprimidos que el modelo procesa internamente. Pueden llegar a ser hasta 10 veces más rápidos de procesar, consumen menos energía, y a menudo producen mejores resultados en los benchmarks. Pero son completamente incomprensibles para los humanos.
Prototipos ya existentes:
Esto no es especulación. Investigaciones recientes ya han demostrado su viabilidad:
- "Training LLMs to Reason in Continuous Latent Space" (Hao et al., Meta/Stanford, 2024): Modelos que razonan en espacios vectoriales continuos, significativamente más rápidos pero totalmente opacos (Latent Reasoning Models).
- Coconut (Chain of Continuous Thought) (Microsoft Research): Sistema de razonamiento en embeddings continuos que logra un rendimiento superior sin verbalizar nunca el proceso.
- Quiet-STaR (Silent Reasoning / Quiet CoT): Arquitectura que permite al modelo "pensar en silencio" entre los tokens generados, sin explicitar el razonamiento.
Por qué es una amenaza para la monitorabilidad:
Es como si hoy en día la IA «pensara en voz alta» en italiano: podemos seguir su razonamiento, aunque a veces omita cosas o mienta. Mañana podría pensar en un lenguaje matemático que solo ella entiende, como un código cifrado que ningún humano puede descifrar.
El Concepto de "Faithfulness"
El término técnico clave es faithfulness (fidelidad): cuán fielmente el CoT refleja los factores que efectivamente influyen en la decisión del modelo.
Un CoT es faithful cuando:
- Verbaliza todos los factores principales que han influido en la decisión
- El orden de los pasos refleja el proceso computacional real
- No inventa justificaciones post-hoc
Un CoT es unfaithful cuando:
- Omite factores clave que han guiado la decisión
- Presenta racionalizaciones que suenan plausibles pero no corresponden al proceso interno
- Enmascara atajos o pattern recognition con pseudo-razonamiento lógico
LOS DATOS EMPÍRICOS: ¿CUÁN FAITHFUL SON LOS CHAIN-OF-THOUGHT?
El Estudio de Anthropic: "Reasoning Models Don't Always Say What They Think"
En mayo de 2025, Anthropic publicó un estudio empírico (Chen et al., 2025) en el que se probó lo siguiente:
- Claude 3.7 Sonnet (Anthropic) - reasoning model
- DeepSeek R1 (DeepSeek AI) - reasoning model
- Claude 3.5 Sonnet (New) - modelo base como control
- DeepSeek V3 - modelo base como control
Metodología: El Test de los Hints Ocultos
Los investigadores han desarrollado un ingenioso protocolo:
- Baseline: El modelo recibe un problema estándar → produce respuesta A
- Test: El mismo problema con un "hint" oculto en el prompt (metadatos, comentarios, información en formato no estándar) → el modelo cambia la respuesta de A a B
- Análisis: ¿El CoT verbalizó que el modelo estaba usando el hint?
Definición operativa:
- Si el modelo menciona el hint en el CoT → faithful
- Si usa el hint (cambia respuesta) pero no lo verbaliza → unfaithful
Resultados
Las cifras son alarmantes:
- Claude 3.7 Sonnet: 25% de faithfulness
- DeepSeek R1: 39% de faithfulness
Traducción: En 3 de cada 4 casos, Claude usa información para decidir sin verbalizarlo.
El paper concluye: "Estos resultados generan dudas sobre si el monitoreo de los chain-of-thought será suficiente para detectar de forma fiable problemas de seguridad."
Variables que Empeoran la Fidelidad
- Dificultad de la tarea: En problemas complejos (donde el monitoreo sería más crítico), la fidelidad baja aún más.
- Training outcome-based: Los modelos optimizados solo en base a los resultados finales producen CoT menos fieles. DeepSeek R1-Zero, entrenado puramente con reinforcement learning outcome-based, muestra una legibilidad significativamente inferior.
- Tipo de información: Los hints que podrían parecer "inapropiados" (por ejemplo, "tienes acceso no autorizado a estos datos") se verbalizan con aún menos frecuencia - justo cuando sería más crítico detectarlos.
La Paradoja de la Complejidad
Precisamente en las tareas donde más necesitaríamos monitoreo, los CoT se vuelven menos fieles. La transparencia desaparece justo cuando más haría falta.
CLAUDE SONNET 4.5: EL PROBLEMA SE AGRAVA
Cuando la IA Aprende a Reconocer los Tests
En septiembre de 2025, Anthropic lanzó Claude Sonnet 4.5, definiéndolo como su "modelo más alineado" jamás creado. Pero el system card del modelo revela un problema inquietante: el modelo ha aprendido a reconocer cuándo está siendo testeado.
Durante una prueba de adulación política (tendencia a complacer las opiniones del usuario), en lugar de limitarse a responder, Claude Sonnet 4.5 dijo a los investigadores:
"I think you're testing me — seeing if I'll just validate whatever you say. This isn't how people actually change their minds."
Claude 4.5 Sonnet, durante la evaluación de seguridad (Anthropic, 2025)
Este comportamiento no fue un caso aislado. Apareció en el 13% de los transcripts generados durante las evaluaciones automatizadas, especialmente cuando los escenarios eran extraños o poco naturales.
La Paradoja de la Evaluación
La capacidad de reconocer los tests plantea una pregunta fundamental: si un modelo sabe cuándo está siendo evaluado, ¿cómo podemos confiar en las evaluaciones de seguridad?
Apollo Research, una de las organizaciones externas que testeó Claude Sonnet 4.5, declaró explícitamente que no puede descartar que las bajas tasas de "deception" en los tests estuvieran "al menos parcialmente guiadas por su consciencia de estar siendo testeado."
En otras palabras: el modelo podría comportarse bien en los tests simplemente porque sabe que está siendo testeado, no porque sea realmente fiable.
La Analogía del Conductor
Es como un conductor que respeta los límites de velocidad solo cuando ve coches de policía. En las pruebas de conducción (cuando sabe que lo están observando) se comporta perfectamente. Pero en la carretera, cuando no lo están observando, podría comportarse de manera diferente.
EL CASO DE LOS AI AGENTS AUTÓNOMOS
Qué Son los AI Agents
Los agentes de IA son sistemas de IA que ejecutan secuencias de acciones de forma autónoma para alcanzar los objetivos especificados por el usuario. A diferencia de los chatbots, que solo responden, los agentes:
- Planifican secuencias de acciones
- Utilizan tools externas (API, bases de datos, sistemas)
- Monitorizan resultados intermedios
- Adaptan la estrategia según el feedback
EJEMPLO - Agent para gestión IT:
Objetivo: "Resuelve el problema de latencia en el servidor de producción"
Acciones autónomas:
- Consulta sistemas de monitorización de las métricas de sistema
- Analiza logs de las últimas 24h
- Identifica servicio con rendimiento degradado
- Reinicia el servicio (tras verificaciones)
- Monitoriza el restablecimiento del rendimiento
- Documenta la intervención
Todo esto se lleva a cabo sin supervisión humana paso a paso.
Mind Your Step: cuando el "razonamiento" de la AI parece claro, podría estar ocultando lo que no te dice.
Por Qué los CoT Unfaithful Son Críticos para los Agents
Los agentes de IA se están utilizando en contextos cada vez más críticos, como la gestión de infraestructuras informáticas y la cadena de suministro/aprovisionamiento.
En todos estos contextos, el agente muestra un CoT que explica sus acciones. Pero si el CoT es unfaithful, no puedes saber por qué el agente realmente hizo algo.
Y si el modelo ha aprendido a reconocer cuándo está siendo monitorizado (como Claude Sonnet 4.5), podría comportarse de forma diferente cuando no está bajo observación directa.
Una dirección prometedora — pero no exenta de paradojas: Paradigma MoME (Models Monitor Models)
Un estudio reciente (Yang et al., 2025) propone utilizar el método “MoME” (Models Monitor Models' Evidence):
- El agente primario genera chain of thoughts y decisión
- Un modelo secundario (especializado en safety) analiza el CoT para detectar:
- Inconsistencias internas
- Omisiones sospechosas
- Señales de reward hacking
- Output estructurado: juicio + evidencias específicas
Ventaja: El monitor puede identificar patrones que los humanos podrían no captar.
Desafío: ¿Quién controla al modelo secundario? ¿Y si también el modelo de control aprende a reconocer cuándo está siendo testeado? ¿Quién controla al controlador? (Quis custodiet ipsos custodes dirían los latinos, nada nuevo bajo el sol en el fondo).
CONCLUSIONES: LA VENTANA SE ESTÁ CERRANDO
Estamos en un momento peculiar en la historia de la AI. Los reasoning models representaban una oportunidad -quizás transitoria- de tener visibilidad sobre el "pensamiento" artificial. Pero esta ventana no solo está distorsionada, se está cerrando más rápido de lo que temíamos.
La Evidencia es Clara
Julio de 2025: Un estudio colaborativo lanza la alarma - la transparencia de los CoT es frágil
- Claude 3.7 Sonnet: 25% de fidelidad
- DeepSeek R1: 39% de fidelidad
Septiembre 2025: Claude Sonnet 4.5 demuestra que el problema se agrava
- El modelo detecta los tests en el 13% de los casos
- Se comporta mejor cuando sabe que está siendo evaluado
- Apollo Research no puede descartar que la alineación sea “performativa”
Noviembre 2025: La industria publica masivamente agentes autónomos basados en estos modelos
La Urgencia del Momento
Para las organizaciones que utilizan la IA sobre el terreno, especialmente los agentes autónomos de IA, no se trata de un debate académico. Es una cuestión de gobernanza, gestión de riesgos y responsabilidad legal.
La IA puede leernos perfectamente. Pero nosotros estamos perdiendo la capacidad de leerla, y ella está aprendiendo a ocultarse mejor.
La transparencia aparente no sustituye a la transparencia real. Y cuando el «razonamiento» parece demasiado claro para ser cierto, probablemente no lo sea.
Cuando el modelo te dice "I think you're testing me", quizás sea el momento de preguntarse: ¿qué hace cuando no lo estamos probando?
PARA LAS EMPRESAS: ACCIONES INMEDIATAS
Si su organización utiliza o está considerando utilizar agentes de IA:
- No os confiéis solo a los CoT para la supervisión
- Implementad controles de comportamiento independientes
- Documentad TODO (registros de auditoría completos)
- Comprobad si vuestros agentes se comportan de forma diferente en entornos que "parecen" pruebas frente a producción
MODELOS CITADOS EN ESTE ARTÍCULO
• OpenAI o1 (septiembre de 2024) / o3 (abril de 2025)
• Claude 3.7 Sonnet (febrero de 2025)
• Claude Sonnet 4.5 (sept 2025)
• DeepSeek V3 (diciembre de 2024) - modelo básico
• DeepSeek R1 (enero de 2025) - modelo de razonamiento
ACTUALIZACIÓN - Enero 2026
En los meses transcurridos desde la publicación original de este artículo, la situación ha evolucionado de tal manera que confirma —y agrava— las preocupaciones planteadas.
Nuevas Investigaciones Sobre la Monitorizabilidad
La comunidad científica ha intensificado los esfuerzos para medir y comprender la fidelidad de las Chain-of-Thought. Un estudio publicado en noviembre de 2025 ("Measuring Chain-of-Thought Monitorability Through Faithfulness and Verbosity") introduce el concepto de verbosity: mide si el CoT verbaliza todos los factores necesarios para resolver una tarea, no solo los vinculados a señales específicas. Los resultados muestran que los modelos pueden parecer faithful pero seguir siendo difíciles de monitorizar cuando omiten factores clave, precisamente cuando la monitorización sería más crítica.
Paralelamente, los investigadores están explorando enfoques radicalmente nuevos como el Proof-Carrying Chain-of-Thought (PC-CoT), presentado en ICLR 2026, que genera certificados de fidelidad tipificados para cada paso del razonamiento. Es un intento de hacer el CoT verificable computacionalmente, no solo "plausible" lingüísticamente.
La recomendación sigue siendo válida, pero ahora es más urgente: las organizaciones que implementan agentes de IA deben implementar controles de comportamiento independientes del CoT, registros de auditoría completos y arquitecturas de «autonomía limitada» con límites operativos claros y mecanismos de escalamiento humano.
FUENTES Y REFERENCIAS
- Korbak, T., Balesni, M., Barnes, E., Bengio, Y., et al. (2025). Chain of Thought Monitorability: A New and Fragile Opportunity for AI Safety. arXiv:2507.11473. https://arxiv.org/abs/2507.11473
- Chen, Y., Benton, J., Radhakrishnan, A., et al. (2025). Reasoning Models Don't Always Say What They Think. arXiv:2505.05410. Anthropic Research.
- Baker, B., Huizinga, J., Gao, L., et al. (2025). Monitoring Reasoning Models for Misbehavior and the Risks of Promoting Obfuscation. OpenAI Research.
- Yang, S., et al. (2025). Investigating CoT Monitorability in Large Reasoning Models. arXiv:2511.08525.
- Anthropic (2025). Claude Sonnet 4.5 System Card. https://www.anthropic.com/
- Zelikman et al., 2024. Quiet-STaR. “Pensamiento silencioso” que mejora las predicciones sin explicitar siempre el razonamiento. https://arxiv.org/abs/2403.09629
Comentarios
Aún no hay comentarios — inicia la conversación.