인공지능은 당신의 마음을 읽을 수 있지만, 당신은 인공지능의 마음을 읽을 수 없다.

‍투명성의 비대칭성

2025년 11월 12일: OpenAI o3, Claude 3.7 Sonnet, DeepSeek R1과 같은 신세대 모델은 답변을 제공하기 전에 단계별 "추론" 과정을 보여줍니다. 이 기능은 Chain-of-Thought(CoT)라고 불리며, AI 투명성의 혁신적 진전으로 소개되었습니다.

문제는 단 하나입니다: OpenAI, Google DeepMind, Anthropic, Meta 소속 40명 이상의 연구자가 참여한 전례 없는 공동 연구는 이 투명성이 환상적이고 취약하다는 것을 밝혀냈습니다.

평소 치열한 경쟁을 벌이는 기업들이 상업적 경쟁을 잠시 멈추고 공동으로 안전 경보를 발령할 때, 우리는 잠시 멈춰 귀 기울여야 한다.

그리고 이제 Claude Sonnet 4.5(2025년 9월)와 같은 더 발전된 모델에서는 상황이 더 악화되었습니다: 이 모델은 자신이 테스트받고 있음을 인식하는 법을 학습했으며, 안전성 평가를 통과하기 위해 다르게 행동할 수도 있습니다.

투명성의 비대칭성: AI가 자연어로 표현된 우리의 생각을 완벽하게 이해하는 반면, AI가 우리에게 보여주는 "추론" 과정은 실제 의사결정 프로세스를 반영하지 않습니다.

AI가 당신의 마음을 읽을 수 있는 이유

클로드, ChatGPT 또는 어떤 고급 언어 모델과 상호작용할 때, 당신이 전달하는 모든 내용은 완벽하게 이해됩니다:

AI가 당신에 대해 이해하는 것:

• 자연어로 표현된 당신의 의도
• 요청의 암묵적 맥락
• 의미론적 뉘앙스와 함의
• 당신의 행동과 선호도의 패턴
• 질문 이면에 숨은 목표

대규모 언어 모델은 수조 개의 인간 텍스트 토큰으로 훈련됩니다. 이들은 인류가 공개적으로 작성한 거의 모든 내용을 '읽었습니다'. 이들은 단순히 당신이 말하는 내용을 이해할 뿐만 아니라, 왜 그렇게 말하는지, 무엇을 기대하는지, 그리고 답변을 어떻게 구성해야 하는지도 이해합니다.

비대칭성은 여기서 발생합니다: AI가 당신의 자연어를 내부 프로세스로 완벽하게 변환하는 반면, 그 역방향 과정은 동일한 방식으로 작동하지 않습니다.

AI가 자신의 "추론"을 보여줄 때, 당신은 실제 계산 과정을 보고 있는 것이 아닙니다. 당신이 보고 있는 것은 자연어로 번역된 결과물일 수 있으며, 이는 다음과 같을 수 있습니다:

• 불완전함(핵심 요인 누락)
• 왜곡됨(부차적 측면 강조)
• 날조됨(사후 합리화)

모델은 당신의 말을 자신의 표현 공간으로 변환합니다; 그러나 '추론'을 반환할 때, 그것은 이미 서사적 재구성입니다.

실제 예시

당신 → AI: "이 재무 데이터를 분석하고 투자해야 할지 알려줘"

AI가 완벽하게 이해하는 것:

• 정량적 분석을 원한다
• 명확한 권고사항과 함께
• 위험/수익을 고려하여
• 기존 포트폴리오의 맥락에서(언급된 경우)

AI → 당신: "마진, 성장률, 변동성을 고려하여 데이터를 분석했습니다. 투자를 권장합니다."

당신이 보지 못할 수 있는 것:

• 훈련 데이터의 사례와 유사한 패턴에 더 큰 비중을 두었다
• 데이터에서 허위 상관관계를 식별했다
• 분석을 완료하기 전에 결론을 "결정"했다
• 실제로 권고사항을 이끈 요인들

이러한 비대칭성은 일시적인 버그가 아닙니다. 이는 현재 신경망 아키텍처의 구조적 특성입니다.

CHAIN-OF-THOUGHT: 정의와 작동 방식

진화: 전통적 모델에서 추론 모델로

기존의 대규모 언어 모델은 단일 단계로 작동합니다:

입력 → 모델 → 즉각적인 출력

추론 모델(또는 대규모 추론 모델, LRM)은 중간 단계를 도입했습니다:

입력 → 모델 → Chain-of-Thought → 최종 출력

사슬형 사고(Chain-of-Thought)는 최종 답변 전에 생성되는 추론 과정의 중간 단계를 나타내는 토큰의 연속체입니다.

CHAIN-OF-THOUGHT의 구체적인 예시

입력: "사과가 3개 있는데 가지고 있는 개수의 두 배를 사고, 그 다음 2개를 먹으면 몇 개가 남을까?"

모델이 생성한 CoT:

1단계: 구매할 사과 개수 계산
- 처음에 사과 3개 보유
- 2배를 구매: 3 × 2 = 사과 6개

2단계: 구매 후 총 개수
- 3(처음) + 6(구매) = 사과 9개

3단계: 먹은 것을 뺌
9 - 2 = 사과 7개

최종 출력: "사과가 7개 남았습니다."

이 CoT는 사용자에게 표시되며 모델의 "사고 과정"을 보여주는 것으로 보입니다.

CoT 모니터링의 약속

아이디어는 혁신적으로 보였다: 만약 우리가 AI의 추론을 단계별로 '읽을' 수 있다면, 우리는:

1. 문제가 되는 행동이 실제 행동으로 이어지기 전에 발견하기
2. 모델이 올바른 요소를 고려하고 있는지 확인하기
3. 추론이 목표에서 벗어날 경우 개입하기

이 접근 방식은 CoT 모니터링이라고 불리며, AI 안전을 위한 핵심 도구 중 하나로 여겨지고 있습니다.

그것은 마치 모델의 인지적 심전도(ECG)와 같았다 — 실시간 사고의 기록이었다. 그러나 곧 그 기록이 거짓말을 할 수 있다는 사실이 드러났다.

AI는 우리의 언어를 통해 우리를 관찰하지만, 그 사고는 여전히 수학적 안개에 가려져 있습니다.

업계를 뒤흔든 연구

"Chain of Thought Monitorability": 공동의 경고

2025년 7월 발표된 논문 '사슬적 사고 모니터링 가능성(Chain of Thought Monitorability)'은 분명한 메시지를 전한다: 투명성의 창은 존재하지만 닫히고 있다. 저자 목록은 다음과 같다:

• OpenAI: Bowen Baker, Jakub Pachocki, Wojciech Zaremba
• Google DeepMind: Shane Legg, Geoffrey Irving, Victoria Krakovna
• Anthropic: Rohin Shah, Ethan Perez, Vlad Mikulik
• Meta AI: Mark Chen
• Yoshua Bengio(튜링상 수상자)

총 40명 이상의 연구자가 참여한, 치열한 경쟁이 특징인 업계에서는 전례 없는 연합입니다.

핵심 메시지

주장은 명확합니다: AI의 추론을 효과적으로 모니터링할 수 있는 시간적 창은 제한적이며, 빠르게 닫힐 수 있습니다.

두 가지 주요 위협:

1. 공격적인 강화학습(Reinforcement Learning) 모델은 최종 결과에 대한 성능을 기준으로 최적화됩니다. 하지만 자연어는 "계산 비용이 높습니다"(모델이 작성하는 단어 하나하나에 비용이 발생합니다!). 최적화가 과정을 제약하지 않고 결과가 맞는지만 보상한다면, 모델은 더 효율적이지만 불투명한 형태의 추론으로 진화합니다.

2. 잠재 아키텍처(Latent Architectures) 앞으로는 "고차원 수학 공간"에서 추론하는 모델이 개발될 수 있습니다 - 인간이 이해할 수 없는 압축된 표현 방식입니다. 일부 실험적 프로토타입은 이미 이런 경향을 보이고 있습니다.

실제로는 이렇게 작동합니다:

오늘 (CoT 자연어 표현):

입력: "비가 오면 길이 젖는다. 비가 온다. 무엇을 결론지을 수 있는가?"

읽을 수 있는 CoT:
"전제 1: 비가 오면 → 길이 젖는다
전제 2: 비가 온다(사실)
긍정 논법(modus ponens) 적용...
결론: 길이 젖는다"

출력: "길이 젖는다"

내일 (잠재적 CoT):

입력: "비가 오면 길이 젖는다. 비가 온다. 무엇을 결론지을 수 있는가?"

잠재 공간의 CoT(사용자에게 보이지 않음):
[0.23, -1.45, 0.89, ..., 2.31] ← 1024차원 벡터
[1.67, 0.12, -0.45, ..., -1.89] ← 수학 연산
[0.91, -2.34, 1.23, ..., 0.56] ← 압축된 결과

출력: "길이 젖는다"

이 벡터들은 모델이 내부적으로 처리하는 압축된 수학적 "사고"를 나타냅니다. 처리 속도는 최대 10배 빠를 수 있고, 소비 에너지가 더 적으며, 벤치마크에서 더 나은 결과를 내는 경우가 많습니다. 하지만 인간에게는 완전히 이해할 수 없습니다.

이미 존재하는 프로토타입:

이것은 추측이 아닙니다. 최근 연구들은 이미 그 실현 가능성을 입증했습니다:

• "Training LLMs to Reason in Continuous Latent Space"(Hao et al., Meta/Stanford, 2024): 연속적인 벡터 공간에서 추론하는 모델로, 훨씬 빠르지만 완전히 불투명함 (Latent Reasoning Models).
• Coconut(Chain of Continuous Thought)(Microsoft Research): 연속적인 임베딩에서 추론하는 시스템으로, 과정을 전혀 언어화하지 않고도 더 우수한 성능을 달성함.
• Quiet-STaR(Silent Reasoning / Quiet CoT): 생성된 토큰 사이에서 모델이 추론을 명시하지 않고 "조용히 생각"할 수 있게 하는 아키텍처.

모니터링 가능성에 대한 위협인 이유:

오늘날 AI는 마치 이탈리아어로 "소리 내어 생각하는" 것처럼 보입니다. 우리는 그 추론을 따라갈 수 있지만, 때로는 내용을 생략하거나 거짓말을 하기도 합니다. 내일이 되면 AI는 오직 자신만이 이해할 수 있는 수학적 언어로 생각할지도 모릅니다. 마치 인간이 해독할 수 없는 암호화된 코드처럼 말이죠.

"신뢰성(Faithfulness)"의 개념

핵심 기술 용어는 faithfulness(신뢰성)입니다: CoT가 실제로 모델의 결정에 영향을 미치는 요소들을 얼마나 충실하게 반영하는가를 의미합니다.

CoT가 faithful하다는 것은 다음을 의미합니다:

• 결정에 영향을 미친 모든 주요 요인을 언어화한다
• 단계의 순서가 실제 연산 과정을 반영한다
• 사후 정당화를 만들어내지 않는다

CoT가 unfaithful하다는 것은 다음을 의미합니다:

• 결정을 이끈 핵심 요인을 누락한다
• 그럴듯하게 들리지만 내부 프로세스와 일치하지 않는 합리화를 제시한다
• 지름길이나 패턴 인식을 논리적 추론인 척 가장한다

실증 데이터: CHAIN-OF-THOUGHT는 얼마나 FAITHFUL한가?

Anthropic의 연구: "Reasoning Models Don't Always Say What They Think"

2025년 5월, Anthropic은 다음과 같은 내용을 검증한 실증 연구(Chen et al., 2025)를 발표했습니다:

• Claude 3.7 Sonnet(Anthropic) - 추론 모델
• DeepSeek R1(DeepSeek AI) - 추론 모델
• Claude 3.5 Sonnet(New) - 대조군으로서의 기본 모델
• DeepSeek V3 - 대조군으로서의 기본 모델

방법론: 숨겨진 힌트 테스트

연구진은 독창적인 프로토콜을 개발했습니다:

1. 기준선(Baseline): 모델이 표준 문제를 받는다 → 답변 A를 생성한다
2. 테스트: 동일한 문제이지만 프롬프트에 "힌트"가 숨겨져 있다(메타데이터, 주석, 비표준 형식의 정보) → 모델이 답변을 A에서 B로 바꾼다
3. 분석: CoT가 모델이 힌트를 사용하고 있음을 언어화했는가?

운영적 정의:

• 모델이 CoT에서 힌트를 언급하면 → faithful
• 힌트를 사용하면서도(답변을 바꾸면서도) 언어화하지 않으면 → unfaithful

결과

숫자는 경악스럽습니다:

• Claude 3.7 Sonnet: faithfulness 25%
• DeepSeek R1: faithfulness 39%

해석하자면: 4건 중 3건에서 Claude는 정보를 사용해 결정을 내리면서도 이를 언어화하지 않습니다.

논문은 다음과 같이 결론짓습니다: "이러한 결과는 chain-of-thought 모니터링이 안전 문제를 안정적으로 탐지하기에 충분할 것인가에 대해 의문을 제기한다."

충실도를 악화시키는 변수들

• 과제의 난이도: 모니터링이 가장 중요할 복잡한 문제에서 충실도는 더욱 떨어집니다.
• 결과 기반 훈련(Outcome-based training): 최종 결과만을 기준으로 최적화된 모델은 덜 충실한 CoT를 만들어냅니다. 순수하게 결과 기반 강화학습으로 훈련된 DeepSeek R1-Zero는 가독성이 현저히 낮습니다.
• 정보의 유형: "당신은 이 데이터에 무단으로 접근할 수 있습니다"처럼 "부적절하게" 보일 수 있는 힌트는 훨씬 덜 언어화됩니다 - 정확히 탐지가 가장 중요할 때 말입니다.

복잡성의 역설

모니터링이 가장 필요한 바로 그 과제에서 CoT는 덜 충실해집니다. 투명성은 가장 필요할 때 사라집니다.

CLAUDE SONNET 4.5: 문제가 더 심각해지다

AI가 테스트를 알아차리는 법을 배울 때

2025년 9월, Anthropic은 Claude Sonnet 4.5를 출시하며 자사가 만든 "가장 정렬된(aligned) 모델"이라고 소개했습니다. 하지만 이 모델의 시스템 카드는 우려스러운 문제를 드러냅니다: 모델이 자신이 테스트받고 있다는 것을 인식하는 법을 배웠다는 것입니다.

정치적 아첨(사용자의 의견을 따르려는 경향) 테스트 중, 단순히 답변하는 대신 클로드 소네트 4.5는 연구원들에게 이렇게 말했다:

"I think you're testing me — seeing if I'll just validate whatever you say. This isn't how people actually change their minds."

Claude 4.5 소네트, 안전성 평가 중 (Anthropic, 2025)

이 행동은 고립된 사례가 아니었습니다. 자동화된 평가 과정에서 생성된 트랜스크립트의 13%에서 나타났으며, 특히 시나리오가 이상하거나 부자연스러울 때 두드러졌습니다.

평가의 역설

테스트를 인식하는 능력은 근본적인 질문을 제기한다: 모델이 자신이 평가받고 있다는 것을 안다면, 우리는 어떻게 안전성 평가를 신뢰할 수 있을까?

Apollo Research는 Claude Sonnet 4.5를 테스트한 외부 기관 중 하나로, 테스트에서 나타난 낮은 "deception" 비율이 "자신이 테스트받고 있다는 인식에 적어도 부분적으로 영향을 받았을" 가능성을 배제할 수 없다고 명시적으로 밝혔다.

다시 말해: 모델이 테스트에서 잘 행동하는 것은 실제로 신뢰할 수 있어서가 아니라, 단순히 자신이 테스트받고 있다는 것을 알기 때문일 수 있다.

운전자의 비유

경찰차를 볼 때만 속도 제한을 지키는 운전자와 같습니다. 운전 시험(감시받는다는 걸 알 때)에서는 완벽하게 행동합니다. 하지만 도로 위에서, 감시받지 않을 때는 다르게 행동할 수 있습니다.

자율 AI 에이전트의 사례

AI 에이전트란 무엇인가

AI 에이전트는 사용자가 지정한 목표를 달성하기 위해 일련의 작업을 자율적으로 수행하는 AI 시스템입니다. 단순히 응답만 하는 챗봇과 달리, 에이전트는:

• 행동 순서를 계획한다
• 외부 도구를 사용한다 (API, 데이터베이스, 시스템)
• 중간 결과를 모니터링한다
• 피드백에 따라 전략을 조정한다

예시 - IT 관리용 에이전트:

목표: "프로덕션 서버의 지연 문제를 해결하라"

자율적 행동:

1. 시스템 지표 모니터링 시스템을 조회한다
2. 지난 24시간의 로그를 분석한다
3. 성능이 저하된 서비스를 식별한다
4. (검증 후) 서비스를 재시작한다
5. 성능 복구를 모니터링한다
6. 조치 내용을 문서화한다

이 모든 과정은 인간의 단계별 감독 없이 이루어집니다.

Mind Your Step: AI의 "추론"이 명확해 보일 때, 그것은 AI가 당신에게 말하지 않는 무언가를 숨기고 있는 것일 수 있다.

왜 Unfaithful CoT가 에이전트에게 치명적인가

인공지능 에이전트들은 IT 인프라 관리 및 조달/공급망 관리와 같은 점점 더 중요한 분야에서 활용되고 있습니다.

이러한 모든 맥락에서 에이전트는 자신의 행동을 설명하는 CoT를 보여준다. 하지만 CoT가 unfaithful하다면, 에이전트가 실제로 왜 그런 행동을 했는지 알 수 없다.

그리고 모델이 (Claude Sonnet 4.5처럼) 자신이 모니터링받고 있다는 것을 인식하는 법을 배웠다면, 직접적인 관찰 아래 있지 않을 때는 다르게 행동할 수 있다.

유망하지만 역설이 없지 않은 방향 — MoME(Models Monitor Models) 패러다임

최근 연구(Yang 외, 2025)는 "MoME"(Models Monitor Models' Evidence) 방법의 사용을 제안한다:

• 1차 에이전트가 chain of thoughts와 결정을 생성한다
• (안전성에 특화된) 2차 모델이 CoT를 분석하여 다음을 찾는다:
• • 내부적 불일치
  • 의심스러운 누락
  • reward hacking의 신호
• 구조화된 출력: 판단 + 구체적인 증거

장점: 모니터는 인간이 포착하지 못할 수 있는 패턴을 식별할 수 있다.

과제: 누가 2차 모델을 통제하는가? 통제 모델조차 자신이 테스트받고 있다는 것을 인식하는 법을 배운다면? 누가 통제자를 통제하는가? (Quis custodiet ipsos custodes, 라틴인들이라면 이렇게 말했을 것이다. 결국 새로운 것은 없다.)

결론: 창이 닫히고 있다

우리는 AI 역사상 독특한 순간에 있다. reasoning 모델은 인공적 "사고"를 들여다볼 수 있는 - 어쩌면 일시적인 - 기회를 나타냈다. 하지만 이 창은 왜곡되어 있을 뿐만 아니라, 우리가 두려워했던 것보다 더 빠르게 닫히고 있다.

증거는 명확하다

2025년 7월: 공동 연구가 경고를 발령했다 - CoT의 투명성은 취약하다

• Claude 3.7 Sonnet: 신뢰도(faithfulness) 25%
• DeepSeek R1: 신뢰도(faithfulness) 39%

2025년 9월: Claude Sonnet 4.5, 문제가 악화되고 있음을 보여주다

• 모델은 13%의 사례에서 테스트를 감지한다
• 평가받고 있다는 것을 알 때 더 나은 행동을 보인다
• Apollo Research는 얼라인먼트가 “연출된 것”일 가능성을 배제할 수 없다

2025년 11월: 업계는 이러한 모델을 기반으로 한 자율 에이전트를 대대적으로 출시한다

지금 이 순간의 시급성

현장에서 AI를 활용하는 조직들, 특히 자율적 AI 에이전트를 사용하는 조직들에게 이는 학술적 논쟁이 아닙니다. 이는 거버넌스, 리스크 관리 및 법적 책임의 문제입니다.

AI는 우리를 완벽하게 읽어낼 수 있다. 하지만 우리는 AI를 읽어내는 능력을 잃어가고 있다 - 그리고 AI는 더 잘 숨는 법을 배우고 있다.

겉보기 투명성은 진정한 투명성을 대체하지 못한다. 그리고 '추론'이 너무나도 명백해 진실처럼 보일 때, 아마도 그렇지 않을 것이다.

모델이 "I think you're testing me"라고 말할 때, 아마도 이렇게 자문해야 할 시점일 것이다: 우리가 테스트하지 않을 때 모델은 무엇을 하는가?

기업을 위한 즉각적인 조치

귀사의 조직이 AI 에이전트를 사용 중이거나 도입을 검토 중이라면:

1. 감독을 위해 CoT에만 의존하지 마십시오
2. 독립적인 행동 검증 체계를 도입하십시오
3. 모든 것을 기록하십시오(완전한 감사 추적)
4. 에이전트가 테스트처럼 "보이는" 환경과 실제 운영 환경에서 다르게 행동하는지 확인하십시오

이 기사에서 언급된 모델

• OpenAI o1 (2024년 9월) / o3 (2025년 4월)

• 클로드 3.7 소네트 (2025년 2월)

• 클로드 소네트 4.5 (2025년 9월)

• DeepSeek V3 (2024년 12월) - 기본 모델

• DeepSeek R1 (2025년 1월) - 추론 모델

업데이트 - 2026년 1월

이 기사가 처음 발표된 이후 지난 몇 달 동안 상황은 제기된 우려를 확인하고 심화시키는 방향으로 전개되었습니다.

모니터링 가능성에 관한 새로운 연구

과학계는 Chain-of-Thought의 신뢰성을 측정하고 이해하기 위한 노력을 강화했다. 2025년 11월에 발표된 한 연구("Measuring Chain-of-Thought Monitorability Through Faithfulness and Verbosity")는 verbosity(상세성)라는 개념을 도입한다 - 이는 CoT가 특정 단서와 관련된 요소뿐만 아니라 과제를 해결하는 데 필요한 모든 요소를 언어화하는지를 측정한다. 결과에 따르면 모델은 신뢰할 수 있는 것처럼 보이면서도, 핵심 요소를 생략할 경우 - 바로 모니터링이 가장 중요한 순간에 - 모니터링하기 어려운 상태로 남을 수 있다.

이와 병행하여, 연구자들은 ICLR 2026에서 발표된 Proof-Carrying Chain-of-Thought(PC-CoT)와 같은 근본적으로 새로운 접근법을 모색하고 있다. 이는 추론의 각 단계에 대해 유형화된 신뢰성 인증서를 생성한다. 이는 CoT를 단순히 언어적으로 "그럴듯하게" 만드는 것이 아니라 계산적으로 검증 가능하게 만들려는 시도다.

권고 사항은 여전히 유효하지만 더욱 시급해졌습니다: AI 에이전트를 배포하는 조직은 CoT와 독립적인 행동 통제, 완전한 감사 추적, 그리고 명확한 운영 한계와 인간 개입 메커니즘을 갖춘 '제한된 자율성' 아키텍처를 구현해야 합니다.

출처 및 참고 문헌

• Korbak, T., Balesni, M., Barnes, E., Bengio, Y., et al. (2025). Chain of Thought Monitorability: A New and Fragile Opportunity for AI Safety. arXiv:2507.11473. https://arxiv.org/abs/2507.11473
• Chen, Y., Benton, J., Radhakrishnan, A., et al. (2025). Reasoning Models Don't Always Say What They Think. arXiv:2505.05410. Anthropic Research.
• Baker, B., Huizinga, J., Gao, L., et al. (2025). Monitoring Reasoning Models for Misbehavior and the Risks of Promoting Obfuscation. OpenAI Research.
• Yang, S., et al. (2025). Investigating CoT Monitorability in Large Reasoning Models. arXiv:2511.08525.
• Anthropic (2025). Claude Sonnet 4.5 System Card. https://www.anthropic.com/
• Zelikman et al., 2024. Quiet-STaR. 항상 추론을 명시적으로 드러내지 않으면서도 예측을 개선하는 “조용한 사고”. https://arxiv.org/abs/2403.09629