"잘 만드는 사람을 가르는 건 평가", 앤드루 응의 AI 앱 역량 여섯 가지

편지는 목록을 꺼내기 전에 전제부터 세웁니다. AI 앱과 일반 소프트웨어의 가장 큰 차이는 출력을 미리 알 수 없다는 점이고, 그래서 AI 시스템 개발은 계획을 세워 두고 따라가기 어려운, 훨씬 반복적인 일이 된다는 겁니다. 숙련된 AI 엔지니어는 소프트웨어를 만들고, 뜯어보고, 다음에 무엇을 시도할지 정하는 일을 되풀이하고, 그때마다 다음 걸음은 중간 결과에 따라 달라집니다.

응은 다음 걸음을 잘 정하는 능력이 있어야 믿을 수 없는 AI 부품으로 믿을 수 있는 소프트웨어를 만들 수 있다고 적었습니다. 여섯 하위 역량은 그 판단에 필요한 지식을 나눠 적은 목록이고, 응은 이번에도 많은 채용 공고와 전문가 인터뷰, 설문 응답을 분석해 만들었다고 밝혔습니다.

모델 이름이 하나도 없는 LLM 기초

LLM 기초에서 응이 든 항목에는 특정 모델 이름이 하나도 없습니다. 출발점은 모델이 입력을 토큰으로 쪼개고 출력을 만드는 방식을 알아야 언제 믿고 언제 실패할지 가늠할 수 있다는 것입니다. 여기에 멀티모달 모델을 언제 쓸지, 컨텍스트 창에 무엇을 넣고 뺄지, 캐시 히트(앞서 보낸 프롬프트와 같은 앞부분을 다시 쓸 때 계산을 건너뛰는 것), 지식 컷오프(학습 데이터가 끝나는 시점), 추론 강도, 샘플링 설정, 도구 호출을 언제 쓸지가 이어집니다.

응은 이런 판단이 모여 알맞은 모델 하나나 여러 모델의 조합을 고르고, 필요할 때 파인튜닝이나 자체 호스팅 같은 기법을 쓰는 결정으로 이어진다고 봤습니다. 모델은 몇 달마다 새로 나오지만 캐시를 놓쳤을 때 청구서가 얼마나 뛰는지, 컷오프 이후의 일을 물었을 때 모델이 어떻게 답을 지어내는지는 세대가 바뀌어도 같은 모양으로 되풀이됩니다.

벡터 검색 RAG는 초기 시도였다

데이터 그라운딩에서 응은 지난 몇 년을 한 문장으로 정리했습니다. 벡터 검색을 이용한 RAG는 LLM에 관련 맥락을 주려는 초기 시도였고, 그 뒤로 모델을 데이터에 붙이는 기법이 크게 늘었다는 겁니다. RAG(검색 증강 생성)라는 이름은 2020년 5월 페이스북 AI 연구진과 런던대(UCL) 등이 낸 논문에서 나왔고, 그 논문은 위키백과 전체를 벡터 색인으로 만들어 두고 질문과 가까운 문단을 찾아 답을 생성했습니다.

지금 고를 것은 더 많습니다. 무엇을 프롬프트에 직접 넣고 무엇을 LLM이 도구로 필요할 때 찾아오게 할지, 데이터와 질의에 맞는 표현이 벡터 인덱스인지 지식 그래프인지 고객 기록 같은 정형 데이터 위의 시맨틱 레이어인지도 골라야 하는 대상입니다. 텍스트와 PDF, HTML, 이미지 문서를 LLM이 읽을 수 있는 입력으로 바꾸고, 데이터를 깨끗하고 신선하게 유지하는 파이프라인을 만드는 일도 응은 이 역량에 넣었습니다.

앤트로픽의 코딩 에이전트 Claude Code가 이 선택을 실제로 한 사례입니다. 이 도구를 만든 보리스 체르니는 2월 1일 X에서, 초기 버전은 RAG와 로컬 벡터 DB를 썼지만 에이전트가 직접 파일을 찾아 읽는 에이전틱 검색이 대체로 더 잘 작동한다는 것을 금방 알게 됐다고 밝혔습니다. 더 단순하고 보안과 개인정보, 낡은 색인, 신뢰성 문제도 덜하다는 이유였습니다.

에이전틱 검색은 에이전트가 grep 같은 명령으로 필요한 파일을 그때그때 찾아 읽는 방식이라, 미리 만든 색인이 코드 변경을 따라가지 못해 낡는 문제가 생기지 않습니다. 응이 적은 「프롬프트에 넣을지, 도구로 필요할 때 찾게 할지」라는 선택에서 Claude Code는 뒤쪽을 골랐고, 벡터 색인을 아예 걷어 냈습니다.

워크플로에서 하네스까지

응은 에이전트 시스템을 하나의 스펙트럼으로 그렸습니다. 한쪽 끝은 정해진 순서대로 LLM을 호출하는 워크플로이고, 다른 끝은 에이전트 하네스(모델을 감싸 도구 호출과 실행 절차를 맡는 프로그램) 위에서 LLM이 다음 단계를 스스로 거듭 정하는 방식입니다. 어떤 단계를 잇고 무엇을 병렬로 돌릴지, 어디에 코드를 쓰고 어디에 LLM을 쓸지 고른 뒤, 실패했을 때 넘어갈 대안까지 넣어 설계합니다.

이 구분은 앤트로픽이 2024년 12월 19일 낸 「효과적인 에이전트 만들기」 글과 겹칩니다. 앤트로픽은 미리 짠 코드 경로로 LLM과 도구를 엮는 시스템을 워크플로, LLM이 자기 과정과 도구 사용을 스스로 지휘하는 시스템을 에이전트로 나눴습니다. 그리고 단순한 프롬프트로 시작해 충분한 평가로 다듬고, 그걸로 모자랄 때만 여러 단계의 에이전트 시스템을 더하라고 권했습니다.

설계할 때 정할 것으로 응은 모델이 부를 수 있는 도구(MCP와 CLI, 샌드박스 실행 환경), 메모리 구조, 긴 세션의 맥락 관리, 에이전트 하나로 될 일과 여러 에이전트를 조율할 일의 구분을 들었습니다. 시제품을 운영용으로 올리려면 가드레일과 적대적 입력, 데이터 유출 같은 위험, 거버넌스를 다뤄야 하고, 분야에 따라 음성 에이전트와 컴퓨터 사용 에이전트, 생성형 UI 같은 최신 기법도 익혀 두면 좋다고 봤습니다.

하네스 설계가 결과를 얼마나 바꾸는지는 이 뉴스레터에서도 여러 번 다뤘습니다. 모델은 그대로 두고 실행 시스템만 바꿔 코딩 벤치마크 점수가 크게 오른 사례는 릴리안 웽의 하네스 글에 정리했습니다.

여섯 가운데 "가장 중요한 특성"

여섯 하위 역량 가운데 응이 가장 중요하다고 적은 항목은 네 번째인 평가 주도 개발 하나입니다. 목록 순서로는 중간에 있지만, 응은 이 항목을 설명하며 자신의 경험을 앞세웠습니다.

제 경험으로는 AI 시스템을 잘 만드는 사람을 가르는 가장 중요한 특성은 규율 있는 평가와 오류 분석 루프로 개발을 이끌 수 있느냐입니다.— 앤드루 응, DeepLearning.AI 창업자

이 루프를 돌리면 성과가 날 가능성이 큰 방향에 거듭 힘을 모을 수 있다는 것이 응의 설명입니다. 동시에 익히기 까다로운 기술이라고 덧붙였는데, 맞는 방법이 프로젝트마다, 같은 프로젝트 안에서도 단계마다 크게 달라지기 때문입니다.

좋은 평가를 만드는 일을 응은 깊은 기술로 봤습니다. 시스템의 트레이스(요청 하나가 거친 모델 호출과 도구 실행의 기록)와 출력을 들여다보고, 탐색적 데이터 분석을 하고, 제품과 사업에 대한 통찰을 더해 무엇을 잴지 정합니다. 그다음 채점 방식을 고르고, 평가 자체를 다시 평가해 계속 고쳐 나갑니다. 이렇게 돌린 평가가 개발을 이끌어야 개선이 무작위가 아닌 체계가 된다고 응은 적었습니다.

두 번 맞히고 출시한 과일 글자 세기 앱

평가가 왜 필요한지는 버셀(Vercel)의 AI 앱 빌더 v0를 만드는 엔지니어 이도 페속의 발표가 쉽게 보여 줍니다. 그가 든 이야기는 과일 이름에 든 글자 수를 세는 앱입니다. GPT-4.1에 strawberry에 r이 몇 개냐고 물어 두 번 연속 3이라는 답을 받자 출시했는데, 곧 한 사용자가 같은 질문에 2라는 답을 받았다고 알려 왔습니다.

프롬프트를 밤새 고쳐 열 번 연속 맞힌 뒤 다시 내놓자, 이번에는 과일 여덟 개를 한꺼번에 묻는 질문에서 틀렸습니다. 페속은 로그인과 로그아웃 같은 기능은 테스트로 모두 확인할 수 있어서 앱의 95%는 늘 작동하지만, LLM이 맡은 가장 중요한 5%에서 실패가 난다고 설명했습니다.

YouTube 영상 · 누르면 재생

그의 처방은 평가 데이터를 농구 코트의 슛 위치처럼 모으는 것입니다. 쉬운 질문은 골대 가까이, 어려운 질문은 멀리 두고, 맞힌 질문은 파란 점, 틀린 질문은 빨간 점으로 찍습니다. 앱과 상관없는 질문은 코트 밖으로 빼 둡니다. 데이터는 사용자가 누르는 엄지 올림·내림 신호, 로그에서 무작위로 뽑아 매주 읽는 100건, 커뮤니티 포럼과 X에 올라온 불만에서 모읍니다. 채점은 되도록 코드로 판정하는 통과·실패로 단순하게 두고, 평가를 CI에 붙여 PR마다 무엇이 좋아지고 나빠졌는지 보고서로 받습니다.

채점 기준도 채점하면서 자란다

응이 말한 「평가를 평가하기」는 연구로도 드러난 문제입니다. UC 버클리의 슈레야 샨카르 등은 2024년 4월 논문에서, LLM 출력을 채점하려면 기준이 필요한데 출력을 채점하다 보면 그 기준이 새로 정해지는 현상을 기준 표류(criteria drift)라고 불렀습니다. 일부 기준은 미리 정해 둘 수 없고 실제로 본 출력에 따라 정해진다며, 출력을 보기 전에 평가를 확정할 수 있다고 가정하는 방식에 의문을 던졌습니다. LLM이 만든 채점기도 채점받는 LLM의 문제를 그대로 물려받아 사람의 검증이 다시 필요하다는 것이 이 논문의 출발점입니다.

같은 모델도 누가 어떤 실행 환경으로 재느냐에 따라 점수가 달라집니다. 메타가 8월 6일 코딩 에이전트를 내놓으며 붙인 비교표가 그런 경우였고, 같은 모델에 두 점수가 붙은 메타의 발표에서 자세히 다뤘습니다.

5년 전에도 응은 모델보다 데이터를 봤다

평가와 오류 분석을 앞세우는 주장은 응에게 새것이 아닙니다. 2021년 3월 응은 「모델 중심에서 데이터 중심 AI로」라는 강연에서 철강판 결함 검사 사례를 들었습니다. 결함 39종을 찾는 시스템의 기준 정확도는 76.2%였고, 공장이 바란 목표는 사람 검사원 수준인 90%였습니다.

여러 팀이 모델을 바꿔 가며 매달렸지만 정확도는 전혀 오르지 않았고, 데이터를 체계적으로 고친 쪽은 약 2주 만에 93.1%에 닿았습니다. 응이 보여 준 오류 분석 사례에서는 같은 이물질 결함을 검수자마다 다르게 표시한 레이블이 드러났습니다. 응은 당시 자신이 훑어본 연구 초록 100개 가운데 99개가 모델 개선을 다뤘고 데이터를 다룬 것은 하나였다고 했습니다.

YouTube 영상 · 누르면 재생

5년 전 응은 모델 코드만 고치지 말고 데이터를 체계적으로 고치라고 했고, 이번 편지에서는 평가와 오류 분석으로 개발을 이끄는 능력을 가장 중요한 특성으로 꼽았습니다. 여섯 번째 하위 역량인 머신러닝 기초에도 이번에 오류 분석과 데이터 엔지니어링이 들어갔습니다.

배포한 뒤에 시작되는 일

응은 AI 소프트웨어 운영이 일반 소프트웨어와 다른 이유로 예측 불가능성과 비용, 지연 시간을 꼽았습니다. 실사용에서 성능을 보는 관측 체계를 만들고, 성능을 추적하고, 드리프트(입력이나 모델 동작이 시간이 지나며 달라져 성능이 떨어지는 현상)를 감지하고, 모델 장애와 적대적 프롬프트 주입 같은 보안 사고에 빨리 대응하는 일이 여기에 들어갑니다.

와 CI/CD에도 일반 소프트웨어보다 통계적 평가가 더 많이 필요하고, 테스트에 들이는 노력은 실수가 낳을 위험의 크기에 맞춘다고 했습니다. 사용자가 많아지면 모델 선택을 최적화하고, 증류와 파인튜닝을 쓰고, 에이전트 워크플로를 단순하게 만들어 비용과 지연을 줄이는 판단도 필요합니다.

저는 국내 팀이 이 항목에서 먼저 부딪히는 곳을 관측 체계로 봅니다. 트레이스에는 사용자가 입력한 문장과 모델의 답이 그대로 남기 때문에, 개인정보가 섞이는 순간 보관 기간과 접근 권한을 정하는 일이 평가 설계보다 먼저 따라붙습니다.

LLM을 잘 다루는 엔지니어는 머신러닝도 안다

마지막 하위 역량은 머신러닝 기초입니다. 요즘 LLM도 지도 학습과 강화 학습 같은 머신러닝 기법으로 만들어지고, 응은 자신이 아는 사람 가운데 LLM으로 잘 만드는 엔지니어는 모두 머신러닝과 딥러닝을 어느 정도 깊이 이해한다고 적었습니다. 남이 학습시킨 모델이든 직접 학습시킨 모델이든 머신러닝 모델을 써야 하는 애플리케이션도 여전히 많습니다.

응이 꼽은 사고 틀은 편향과 분산, 오류 분석, 데이터 엔지니어링입니다. 편향이 크면 모델이 너무 단순해 학습 데이터조차 잘 맞히지 못하고, 분산이 크면 학습 데이터에만 맞춰져 새 데이터에서 틀립니다. 응은 이 개념들이 출력이 불확실한 시스템을 다루는 기본 사고 틀이라 AI 시스템 개발의 여러 결정에서 여전히 중요하다고 봤습니다.

여섯 가지를 차례로 공부할 필요는 없다

응은 이 분야의 기술적 깊이가 상당해 배울 것이 많지만, 배우는 만큼 AI 엔지니어링을 더 잘하게 되고 더 흥미로운 앱을 만들 수 있다고 적었습니다. 그리고 이 역량을 강하게 보완하는 것이 소프트웨어 엔지니어링이라며 다음 편지의 주제로 예고했습니다.

저는 스레드에서 여섯 가지를 차례로 공부하는 것보다 지금 만들고 있는 앱에 평가 루프부터 붙여 보는 쪽이 빠르다고 썼습니다. 무엇이 실패하는지 트레이스로 확인하고 나면 LLM 기초와 데이터 그라운딩 가운데 무엇이 급한지가 정해지고, 페속의 코트에서 빨간 점이 어디에 몰려 있는지도 보입니다.

이번 편지도 여섯 역량을 무엇으로 재는지, 어떤 순서로 익히는지는 내놓지 않았습니다. 채용 공고와 인터뷰, 설문을 분석해 만들었다고만 밝혔고, 1편에서 밝힌 공고 1만 건의 국가와 기간도 여전히 공개되지 않았습니다. 1편 해설은 역량 지도 첫 편지를 다룬 글에 있습니다.

읽어 주셔서 고맙습니다.

초이 드림