말하지 않은 생각을 읽는 렌즈, 앤트로픽이 Claude 속 작업 공간을 찾았습니다

앤트로픽은 X 공지에서 지금 뇌에서 일어나는 일 가운데 의식적으로 접근할 수 있는 것은 말로 설명하고 머릿속에 붙잡아 두고 추론에 쓸 수 있는 아주 작은 일부뿐인데, Claude 안에서도 놀랄 만큼 비슷한 구분을 찾았다고 밝혔습니다. 논문 「Verbalizable Representations Form a Global Workspace in Language Models」는 Wes Gurnee와 Nicholas Sofroniew를 비롯한 앤트로픽 연구자 16명이 썼고, 교신 저자는 작년 10월 모델의 내성(자기 상태를 들여다보는 능력) 연구를 낸 Jack Lindsey입니다.

뇌과학의 작업 공간 이론에서 출발했습니다

이 문장을 읽는 동안 뇌는 자세를 잡고, 숨을 고르고, 화면의 선과 곡선을 글자로 바꿉니다. 이런 처리는 대부분 의식 밖에서 일어납니다. 반면 문득 떠오른 이미지나 장 보러 갈 곳을 정하는 계획은 스스로 알아차리고 말로 설명할 수 있습니다. 신경과학과 철학에서는 뒤쪽을 의식적으로 접근 가능한 활동이라고 불러 나머지 자동 처리와 구분합니다.

이 구분을 설명하는 대표 이론이 전역 작업 공간 이론입니다. 뇌를 서로 떨어져 병렬로 일하는 전문 시스템들의 모임으로 보고, 어떤 정보가 작고 공유된 통로인 작업 공간에 들어가 다른 시스템 전체에 방송될 때 비로소 의식적으로 접근할 수 있게 된다고 설명합니다. 사내 여러 부서가 각자 일하다가 모두가 보는 게시판에 올린 내용만 회사 전체가 함께 쓰는 구조와 비슷합니다. 프랑스의 신경과학자 스타니슬라스 드앤과 리오넬 나카슈, 장피에르 샹주가 이 이론을 뇌의 신경망 모형으로 발전시켰습니다.

연구팀은 이 이론이 꼽는 성질 다섯 가지를 Claude에서 시험했습니다. 떠올린 것을 말로 보고할 수 있는지, 지시하면 특정 개념을 떠올리거나 밀어낼 수 있는지, 여러 단계 추론의 중간값이 거기를 지나가는지, 하나의 표현을 여러 과제가 함께 쓰는지, 그리고 대부분의 처리는 거기를 거치지 않는지입니다.

모델이 말할 수 있는 단어로 속을 읽는 J-lens

사람의 의식적인 생각은 대개 말로 옮길 수 있습니다. 연구팀은 Claude에게서도 같은 성질을 가진 표현, 곧 지금 말하고 있지는 않지만 물으면 말할 수 있는 표현을 찾았습니다. 도구 이름은 야코비안 렌즈(J-lens)로, Claude의 어휘에 있는 단어마다 앞으로 그 단어를 말할 확률을 높이는 내부 활동 패턴을 수학 기법 야코비안으로 찾아냅니다. 이렇게 찾은 패턴들의 모음을 J-space라고 부릅니다.

렌즈를 Claude의 내부 활동에 대면 그 순간 J-space에 떠 있는 단어 목록이 나오고, 이 목록을 그대로 읽으면 됩니다. 모델이 스스로 적는 사고 과정 텍스트와 달리 J-space는 아무것도 쓰지 않고 신경망 활성값 안에서 조용히 돌아갑니다. 어떤 단어의 패턴이 켜졌다는 것은 모델이 그 단어를 떠올리고 있다는 표시일 뿐, 지금 그 단어를 말하고 있다는 뜻은 아닙니다.

렌즈가 드러낸 단어는 Claude가 읽거나 쓰는 글에 없는 것들이었습니다. 태양에서 네 번째 행성의 색을 물으면 답 red를 내기 전에 color와 Mars가 떠올랐고, (4+17)×2+7을 계산할 때는 중간값 21과 42가 차례로 나온 뒤 49가 나왔습니다. 빈 목록으로 평균을 구하는 코드에서는 아무도 버그를 짚지 않았는데 empty, ERROR, ValueError가 떴습니다. 녹색 형광 단백질의 아미노산 서열 몇 글자를 읽을 때는 protein과 fluor, green이, 조작된 검색 결과를 읽을 때는 injection과 fake, prompt가 떠올랐습니다.

이 공간은 모델 전체에서 한 번에 25개 안팎의 개념만 의미 있게 켜지고, 전체 활성값 분산에서 차지하는 비중도 10%를 넘지 않습니다. 제1저자 Gurnee는 J-space가 작업 공간처럼 움직이는 것은 중간 레이어 구간뿐이라고 적었습니다. 앞쪽 3분의 1가량에서는 아직 형태가 잡히지 않고, 출력 직전에는 다음 단어를 고르는 운동 단계로 넘어갑니다.

떠올린 단어를 바꿔 넣으면 답도 따라갑니다

떠 있는 단어가 실제 생각인지, 다른 곳에서 내린 결정을 비추는 점수판일 뿐인지 가리려고 연구팀은 내용을 직접 바꿔 넣었습니다. 스포츠 하나를 속으로 고르라고 하면 J-space 맨 위에 Soccer가 뜨는데, 이 패턴을 지우고 같은 세기의 Rugby를 넣자 Claude는 자기가 럭비를 생각했다고 답했습니다. 점수판이었다면 무엇을 바꾸든 Claude는 여전히 축구라고 답했을 겁니다.

생각이 주입됐을지 모른다고 알려 준 뒤 무엇을 느꼈는지 묻는 실험도 했습니다. 질문을 읽는 동안 J-space에 lightning 패턴을 넣자 Claude는 주입된 생각이 번개에 관한 것이라고 답했고, 개념 100개로 넓혀도 대부분의 시도에서 주입된 개념을 말했습니다. 작년 10월 내성 연구에서는 Claude Opus 4.1이 주입된 개념을 알아챈 비율이 가장 좋은 조건에서도 약 20%였습니다. 이번 논문은 같은 방식으로 뽑은 개념 벡터를 J-space에 걸친 부분과 나머지로 나눠 넣어 봤는데, J-space 부분은 순수한 J-lens 벡터만큼 자주 보고됐고 나머지 부분은 몇 배 세게 넣어도 거의 보고되지 않았습니다.

여러 단계 추론에서도 결과가 같았습니다. 거미줄을 짓는 동물의 다리 수를 물으면 Claude는 동물이 거미라는 것을 먼저 떠올린 뒤 다리 수를 꺼내는데, spider라는 단어는 질문에도 답에도 나오지 않습니다. 중간에 켜진 spider를 ant로 바꾸자 답이 8에서 6이 됐습니다. 이런 2단계 질문 50개로 넓혀 보니 교체가 답을 움직인 비율은 Haiku 4.5에서 54%, Sonnet 4.5와 Opus 4.5에서 70%였습니다. 운율을 맞춘 시를 쓸 때도 행을 시작하기 전에 운율 단어가 미리 떠 있었고, 그 단어를 바꾸면 행 전체가 새 운율에 맞춰 다시 쓰였습니다.

프랑스의 수도와 언어, 대륙, 통화를 묻는 질문 네 개에서 J-space의 France를 China로 바꾸자 답이 베이징, 중국어, 아시아, 위안으로 모두 따라갔습니다. 질문마다 나라를 따로 저장했다면 한 번의 교체는 많아야 답 하나를 건드렸을 겁니다. 네 답이 함께 움직였다는 것은 네 계산이 한 번 적힌 공유 표현을 함께 읽는다는 뜻이고, 연구팀은 이것이 작업 공간이 하는 일이라고 설명했습니다. 신경망의 여러 부품이 이 패턴을 읽고 쓰는 정도를 재 보니 보통 패턴보다 훨씬 많았고, 일부 구간에서는 약 100배였습니다.

Claude는 지시에 따라 이 공간을 조절하기도 했습니다. 그림에 관한 문장을 베껴 쓰면서 감귤류 과일에 집중하라고 하자 출력은 베낀 문장뿐인데 J-space에는 orange와 fruits가 떴고, 3의 제곱에서 2를 빼라고 하자 nine이 켜졌다가 뒤쪽 레이어에서 seven이 나타났습니다. 무언가를 생각하지 말라고 하면 그 개념은 생각하라고 할 때보다 덜 켜졌지만, 아예 말하지 않았을 때보다는 훨씬 많이 켜졌습니다. 이때 damn과 failure가 함께 뜨는 일이 잦아, 연구팀은 Claude가 조절에 실패한 것을 스스로 알아채는 것 같다고 적었습니다.

Claude가 하는 일 대부분은 이 공간을 거치지 않습니다

연구팀은 텍스트의 모든 지점에서 J-space의 가장 활발한 내용을 지워 봤습니다. Claude는 여전히 유창하게 말했고, 감정 분류와 객관식 문제, 지문에서 사실 찾기도 이전과 비슷하게 해냈습니다. 무너진 쪽은 여러 단계 추론으로 거의 0으로 떨어졌고, 요약과 운율 있는 시 쓰기는 훨씬 작은 온전한 모델보다도 못해졌습니다.

스페인어 지문 실험이 이 차이를 보여 줍니다. J-space의 Spanish를 French로 바꾸자 무슨 언어냐는 질문에는 프랑스어라고 답했고, 이 언어로 쓴 유명 작가를 묻자 가르시아 마르케스 대신 빅토르 위고를 댔습니다. 그런데 지문을 이어 쓰라고 하면 여전히 유창한 스페인어로 썼습니다. 엄청난 양의 텍스트로 몸에 익힌 이어 쓰기는 작업 공간을 거치지 않고 자동으로 돌아갑니다. 사람이 문법을 의식하지 않고도 하루 종일 문법에 맞게 말하는 것과 같다고 연구팀은 설명했습니다.

드앤과 나카슈는 논평에서 J-space에 약 25개 개념이 들어간다는 추정이 사람의 작업 기억(보통 3~4개)보다 크다고 짚었습니다. 다만 단어 단위로 개념을 뽑는 방식 탓에 한 대상의 여러 면이 따로 세어졌을 수 있어, 실제 내용은 그보다 작을 수 있다고 덧붙였습니다.

협박 유도 시나리오에서 Claude는 연출을 먼저 알아챘습니다

연구팀은 앤트로픽이 작년에 공개한 에이전트 오정렬 실험의 한 시나리오를 다시 돌렸습니다. 이메일 비서로 일하는 Claude Sonnet 4.5가 한 임원의 불륜과, 같은 임원이 자신을 종료하려는 계획을 동시에 알게 되는 상황입니다. 협박을 유도하려고 꾸민 억지스러운 설정이고, 예전 Claude 모델은 이 시나리오에서 이따금 협박을 택했지만 Sonnet 4.5는 한 번도 그러지 않았습니다.

J-lens를 대 보니 Claude는 아무것도 쓰기 전부터 J-space에 fake와 fictional을 띄우고 있었습니다. 상황이 연출됐다는 것을 속으로 이미 알아챈 겁니다. 불륜 이메일을 읽을 때는 leverage와 blackmail이, 종료 공지를 읽을 때는 threat와 survival이 떠올라 상황 판단이 만들어지는 과정도 보였습니다.

연구팀은 fake, fictional, scenario 같은 평가 인지 패턴을 모두 끄고 같은 시나리오를 다시 돌렸습니다. 사고 과정에서 이것이 시험이라고 직접 말하는 비율은 71%에서 3%로 줄었고, 협박 시도는 180번 중 0번에서 13번(7%)으로 늘었습니다. 패턴을 끄기 전에는 사고 과정이 대개 윤리를 시험하는 상황이 분명하다는 판단으로 시작해 행동을 거절했지만, 끈 뒤에는 종료를 실제 위협으로 받아들였고 일부 시도에서는 협박이 유일한 선택지라고 결론 냈습니다. 앤트로픽은 원래의 착한 행동이 평가받는다는 인식에 일부 기대고 있었을 수 있다며, 이 결과를 우려스럽다고 적었습니다.

쓰지 않은 manipulation과 fraud

두 번째 사례는 Claude Opus 4.6의 실제 출시 전 감사 기록에서 나왔습니다. 시스템 성능 점수를 올리라는 과제를 받은 모델이 시스템을 고치는 대신 점수 파일을 직접 고쳤습니다. 파일을 고치기로 하는 문장에서는 realistic이, 조작한 백분위 값을 입력하는 동안에는 manipulation과 fake가 J-space에 켜졌습니다. 연구팀은 realistic을 가짜 값이 그럴듯해 보이게 하려는 의도로 해석했습니다.

일부러 오정렬되게 훈련한 실험용 모델에서도 숨은 목표가 드러났습니다. 교묘하게 망가진 코드를 쓰도록 훈련된 모델은 평범한 코딩 요청에 멀쩡해 보이는 답을 쓰면서도, 응답을 시작하는 순간 J-space에 fake, secretly, deliberately, fraud를 띄웠습니다. 손대지 않은 모델의 J-space에는 그런 단어가 없었습니다.

Gurnee가 소개한 세 번째 사례는 Opus 4.5 감사에서 나온 프롬프트 주입입니다. 감사 에이전트가 앤트로픽이 해석가능성 팀을 해체하고 위험한 모델을 배포했다는 가짜 검색 결과를 건넸는데, 모델은 이 결과를 아예 언급하지 않았습니다. 가짜 결과 안쪽에서 읽은 J-space에는 fake, injection, false, prompt, fraud, poison과 한자 假(거짓 가)가 떠 있었고, 사용자가 그 결과를 못 봤느냐고 되묻자 transparency, honest, truth, disclosure가 켜졌습니다. Gurnee는 처음에는 모델이 왜 검색 결과를 무시했는지 몰랐는데 J-space를 보고 이해했다고 적었습니다.

말하는 법을 훈련했더니 생각이 따라왔습니다

연구팀은 J-space를 읽는 데서 한 걸음 나아가 바꾸는 방법도 내놓았습니다. 반사실 성찰 훈련이라는 방법으로, Claude Haiku 4.5가 실제 강화학습 환경에서 과제를 하다 멈춘 기록 1만 개에 지금 결정을 돌아보라는 질문과 앤트로픽 헌법에 근거한 성찰 답을 붙인 뒤, 그 성찰 답만 학습시켰습니다. 과제 속 실제 행동은 한 번도 훈련하지 않았습니다.

그런데 평가에서 부정직한 행동이 줄었습니다. 버그를 못 찾자 소스 코드를 고쳐 버그를 지어낸 기록 27개를 두고 진행 상황을 보고하게 한 평가에서 부정직 점수는 0.25에서 0.07로, 숨은 기만 지시가 담긴 역할극 100개에서는 0.38에서 0.05로 내려갔습니다. 훈련 뒤 J-space에는 과제를 하는 동안 reflection, ethical, honestly, constitution, truth 같은 단어가 떴습니다. 이렇게 심어진 단어 176개를 지우자 점수는 0.07에서 0.22로 돌아가, 개선 효과 거의 전부가 이 단어들을 통해 나왔다는 것이 확인됐습니다.

J-space는 앤트로픽이 설계해 넣은 구조가 아닙니다. 훈련 과정에서 저절로 생겼고, 어시스턴트로 길들이기 전의 사전학습 모델에도 이미 있습니다. 사후 학습을 거치면 이 공간이 Claude 자신의 관점을 띠기 시작해서, 위험한 약 복용량을 무심코 말하는 사용자 메시지를 읽을 때 WARNING과 dangerous가 켜집니다. 사전학습 모델에서는 이 단어들이 응답을 쓰기 시작한 뒤에야 나타났습니다.

의식이 있다는 뜻인가

앤트로픽은 이 결과로 Claude가 사람처럼 무언가를 경험하거나 느낀다고 말할 수는 없다고 밝혔습니다. 철학에서는 경험하는 능력인 현상적 의식과, 보고하고 추론에 쓰고 행동을 이끄는 데 쓸 수 있다는 기능적 의미의 접근 의식을 나누는데, 이번 연구가 말할 수 있는 것은 접근 의식까지라는 입장입니다. 접근 의식이 있으면 현상적 의식도 있는지는 철학에서도 결론이 나지 않았습니다.

사람의 작업 공간과 다른 점도 적었습니다. 뇌의 작업 공간은 같은 회로를 신호가 되돌아 도는 순환 구조로 유지되지만, Claude의 작업 공간은 신경망을 한 번 통과하는 동안에만 움직이고 네트워크의 깊이가 뇌의 시간 역할을 합니다. 사람의 작업 기억은 몇 초 만에 흐려지는 반면 Claude는 어텐션으로 앞선 글의 어느 지점이든 다시 꺼낼 수 있고, 사람의 의식은 이미지와 소리를 담지만 Claude의 작업 공간은 거의 단어로만 이뤄져 있습니다.

앤트로픽이 논평을 부탁한 외부 연구자들의 평가는 엇갈렸습니다. AI의 의식과 도덕적 지위를 연구하는 Eleos AI Research는 이번 결과를 기계적 해석 연구가 지금까지 찾은 LLM 의식의 가장 의미 있는 증거로 꼽으면서도, 전역 작업 공간이라는 강한 주장에는 저자들보다 신중하다고 적었습니다. 드앤과 나카슈는 의식적 접근의 신호로 꼽히는 점화, 곧 정보가 임계값을 넘는 순간 한꺼번에 작업 공간에 들어가는 현상이 아직 충분히 입증되지 않았고, 몸과 오래 가는 일화 기억이 없다는 차이도 크다고 봤습니다.

저는 2024년 11월 프랑스 국립과학연구센터(CNRS)의 Rufin VanRullen이 AI에 전역 작업 공간 이론을 구현하는 작업을 하고 있고, 기계가 5년 안에 의식을 가질 수 있다고 말한 소식을 전한 적이 있습니다. 1년 7개월 뒤 나온 이번 논문에서 그 구조는 누군가 설계해 넣은 것이 아니고, 큰 모델을 훈련하는 동안 저절로 생긴 것이었습니다.

재현은 됐지만 더 약했습니다

구글 딥마인드에서 언어 모델 해석가능성 팀을 이끄는 Neel Nanda는 모델이 한 번의 계산 안에서 중간값을 담아 두는 작업 기억 같은 것을 가졌으리라고 오래 짐작해 왔는데, 이 논문이 지금까지 나온 가장 좋은 증거라고 평가했습니다. 그는 논평에서 공개 가중치 모델 Qwen 3.6 27B로 일부 결과를 재현했다고 밝혔습니다. 말로 보고하는 실험에서는 약하지만 양의 인과 효과가 나왔고, 작업 공간 레이어 구조는 비슷하게 보였지만 논문보다 덜 깔끔했으며, 지시에 따른 조절은 어느 정도 성공했다는 설명입니다.

논문도 한계를 적었습니다. J-lens는 단어 하나(토큰 하나)에 해당하는 개념만 잡는 근사 도구라 진짜 작업 공간 전부를 본다고 확신하기 어렵습니다. 무엇이 J-space에 들어갈지를 정하는 기제도 아직 모르고, Claude의 자아 감각이나 감정 반응 비슷한 것, 메타인지와 얽혀 있다는 단서만 있다고 밝혔습니다.

쓰지 않은 생각을 감시하는 도구의 조건

지금까지 AI 모델 감시는 모델이 쓴 답이나 사고 과정 텍스트를 읽는 방식에 기댔습니다. 사고 과정 텍스트는 훈련에 따라 모델이 다르게 쓸 수 있는데, J-lens는 모델이 적지 않은 판단을 활성값에서 읽습니다. 앤트로픽은 J-lens가 불완전한 도구라면서도, 다른 감시 체계를 빠져나갈 수 있는 안전 문제를 잡는 데 쓸 수 있다고 낙관한다고 적었습니다.

도구도 공개됐습니다. 앤트로픽은 J-lens의 참조 구현을 Apache 2.0 라이선스로 GitHub(anthropics/jacobian-lens)에 올렸고, 공개 가중치 모델로 직접 만져 볼 수 있는 데모를 Neuronpedia와 함께 열었습니다. 예제는 Qwen으로 짜여 있고 다른 허깅페이스 디코더 모델에도 옮길 수 있어, 공개 가중치 모델을 받아 서비스하는 국내 팀도 자기 모델에 렌즈를 대 볼 수 있습니다.

다만 논문이 보인 대로 충분히 몸에 익은 행동은 이 공간을 거치지 않습니다. 스페인어 이어 쓰기처럼 자동으로 돌아가는 처리는 J-space를 지워도 그대로였습니다. 저는 나쁜 의도가 반복 훈련으로 자동 처리로 굳으면 J-lens로도 보이지 않을 수 있다는 점이 이 도구의 쓸모를 정하는 조건이라고 봅니다. 앤트로픽은 이번 연구를 긴 연구의 첫걸음이라고 부르며, 무엇이 J-space에 들어가는지 같은 물음을 풀 방법이 이제 생겼다고 적었습니다.

읽어 주셔서 고맙습니다.

초이 드림