로딩 중...
김민수
2026년 3월 25일
원글 출처: https://x.com/Alisvolatprop12/status/2035403693869433145
코딩은 이제 스킬 문제다: 안드레 카파시가 말하는 에이전트와 AI 정신병
오늘은 No Priors 팟캐스트를 진행하는 사라 궈와 안드레 카파시의 대담을 소개해보겠습니다.
안드레 카파시는 업계에서도 아주 빠르게 openclaw, moltbook를 직접 사용하면서 최근에는 auto-research(
https://github.com/karpathy/autoresearch
)를 내놓아 AI 권위자 중에서 아주 트렌디쉬한 면모를 보입니다.
그가 사라 궈와 함께 이야기하는 에이전트 ai 와 오픈 클로, 그리고 자동 연구(auto-research), ai 시대의 교육과 미래 직업, 그리고 로봇 공학과 물리 세계와 디지털의 연결에 대해 함께 보도록 합시다.
그리고... 많은 사람들이 인정하고 싶어하지 않지만 아마 안드레 카파시는 젠슨 황과 함께 피터 슈타인버거를 가장 높게 평가하는 권위자 중 한명일 겁니다.
저 역시, 다시 한번 피터 슈타인버거에게 감사의 인사를 드립니다.
*퇴고를 다하고 첨언합니다. 안드레 카파시 솔직하게 지금 이 시대를 말씀해주셔서 너무 감사합니다. 당신이 느끼고 ㅇ
안드레 카파시(Andrej Karpathy): 이제 '코딩한다는 건' 올바른 동사조차 아니죠, 그렇죠?
사라 궈(Sarah Guo): 네.
안드레 카파시: 하지만 저는 하루 16시간 동안 제 에이전트들에게 제 의지를 표현해야 합니다.
사라 궈: 발현(Manifest)시키는 거죠.
안드레 카파시: 발현시키는 거죠. 어떻게 하면 Claude Code나 Codex[^1], 혹은 이런 에이전트 하네스(harness)[^2]를 단일 세션으로만 두지 않을 수 있을까요? 어떻게 하면 그것들을 더 많이 가질 수 있을까요? 어떻게 해야 그걸 적절하게 해낼 수 있을까요? 이제 에이전트라는 요소는 당연하게 여겨집니다. 이제 Claude 같은 존재들도 당연하게 여겨지죠. 그리고 이제 우리는 그것들을 여러 개 가질 수 있고, 그것들에 지시를 내릴 수 있으며, 그 지시들에 대한 최적화까지 할 수 있습니다. 하지만 제 말은, 이것이 바로 정신병(psychosis)으로 이어지는 이유가 이것은 무한하고 모든 것이 여전히 스킬의 문제(skill issue)이기 때문입니다.
사라 궈: 청취자 여러분, 안녕하세요. No Priors[^3]에 다시 오신 것을 환영합니다. 오늘 저는 안드레 카파시와 함께 코드 에이전트, 엔지니어링과 AI 연구의 미래, 더 많은 사람들이 연구에 기여할 수 있는 방법, 로보틱스 분야에서 일어나고 있는 일, 에이전트가 현실 세계로 뻗어나갈 방법에 대한 그의 예측, 그리고 이 다음 시대의 교육에 대해 광범위한 대화를 나눌 예정입니다. 환영합니다, 안드레.
사라 궈: 안드레, 출연해 주셔서 감사합니다.
안드레 카파시: 네. 초대해 주셔서 감사합니다.
사라 궈: 최근 몇 달간 AI 분야에 아주 흥미로운 일들이 많았죠.
안드레 카파시: 네, 그렇게 말할 수 있죠.
사라 궈: 언젠가 사무실에 들어갔을 때 당신이 정말로 몰입해 있던 때가 기억납니다. 제가 무슨 일을 하고 있냐고 묻자 당신은 "저 그냥... 하루 16시간 동안 코딩해야 해요" 아니면 "'코딩한다'는 건 이제 더 이상 올바른 동사도 아니죠, 그렇죠?"라고 대답하셨죠.
안드레 카파시: 네. 하지만 (이제) 저는 하루 16시간 동안 제 에이전트들에게 제 의지를 표현해야 합니다.
사라 궈: 발현시키는 거죠.
안드레 카파시: 발현시키는 겁니다. 역량 측면에서 도약이 있었으니까요.
사라 궈: 네. 무슨 일이 일어나고 있는 건가요? 당신의 경험에 대해 말씀해 주세요.
안드레 카파시: 네, 저는 제가 이 끊임없는... 사실 지금도 종종 늘 AI 정신병 상태에 있는 것 같은 기분입니다. 왜냐하면 한 사람으로서, 개인으로서 성취할 수 있는 것들에 거대한 봉인 해제(unlock)가 있었기 때문입니다, 그렇죠? 과거에는 타이핑 속도 같은 것들에 의해 병목 현상을 겪었으니까요. 하지만 이제 이런 에이전트들과 함께라면 그것은 정말... 작년 12월 즈음 무언가가 정말로 완전히 뒤바뀌면서, 제가 직접 코드를 작성하는 것과 에이전트에게 위임하는 비율이 80대 20에서 20대 80으로 넘어간 것 같습니다. 그리고 지금은 심지어 20대 80도 아니라고 생각합니다. 그보다 훨씬 더 많다고 봅니다. 12월 이후로는 아마 코드 한 줄도 직접 타이핑하지 않은 것 같습니다. 이건 극도로 거대한 변화입니다.
예를 들어, 저는 부모님 등에게도 이 이야기를 했습니다. 저는 평범한 일반인들이 이런 일이 일어났다는 사실이나 그게 얼마나 극적인 변화인지 실제로 깨닫고 있다고 생각하지 않습니다. 말 그대로, 책상에 앉아있는 무작위 소프트웨어 엔지니어를 찾아 그들이 무엇을 하고 있는지 본다면, 소프트웨어를 구축하는 그들의 기본 워크플로우는 12월을 기점으로 완전히 달라졌습니다. 그래서 저는 무엇이 가능한지 알아내고 한계까지 밀어붙이려 하는 이런 정신병 상태에 빠져 있습니다.
단일 세션의 Claude Code나 Codex 또는 다른 에이전트 하네스에 그치지 않고 어떻게 하면 더 많이 확보할 수 있을까? 어떻게 해야 이를 적절하게 해낼 수 있을까? 그리고 이 클로(claw)들을 어떻게 사용할 수 있을까? 이 클로들은 무엇일까? 새롭고 다양한 것들이 정말 많습니다. 저는 그 최전선에 있고 싶고, 최전선에 있지 않다는 사실에 매우 안달이 나 있으며, 트위터에서 수많은 사람들이 온갖 일들을 하는 것을 보는데 그게 다 정말 좋은 아이디어처럼 들려서, 제가 그 최전선에 있지 않으면 극도로 불안함을 느낍니다. 그래서 저는 근본적으로 아직 미개척된 영역이기 때문에 과연 무엇이 가능한지에 대한 이 정신병 상태에 있는 것 같습니다.
사라 궈: 당신이 불안하다면, 우리 나머지 사람들도 불안한 겁니다. 저희 Conviction에 함께 일하는 팀이 있는데, 그곳의 설정은 엔지니어 중 누구도 손으로 코드를 작성하지 않는다는 겁니다.
안드레 카파시: 네.
사라 궈: 그리고 그들은 모두 마이크를 달고 항상 자신들의 에이전트에게 속삭이기만 합니다.
안드레 카파시: 네. 네.
사라 궈: 세상에서 가장 기묘한 작업 환경이죠.
안드레 카파시: 네.
사라 궈: 처음엔 전 그들이 미쳤다고 생각했어요. 그런데 지금은 전적으로 받아들입니다. "아, 이게 길이었구나" 싶었죠.
안드레 카파시: 네.
사라 궈: 당신이 그저 앞서갔던 겁니다.
안드레 카파시: 네.
사라 궈: 이제 탐구하거나 프로젝트를 수행하는 본인의 역량에 대해 어떻게 생각하시나요? 무엇에 의해 제한된다고 보시나요?
안드레 카파시: 무엇에 의해 제한될까요? 그냥 모든 것이라고 생각합니다. 너무나 많은 것들이, 비록 작동하지 않더라도, 저는 상당 부분 그것이 '스킬 문제'라고 느낍니다. 능력이 없어서가 아닙니다.
사라 궈: 그냥 당신이 아직 방법을 찾지 못한 거군요.
안드레 카파시: 네, 활용 가능한 것들을 엮어낼 방법을 찾지 못한 겁니다. 저는 에이전트의 MD 파일이나 다른 곳에 충분히 좋은 지침을 주지 못한 겁니다. 제가 거기에 넣은 메모리 도구가 충분히 훌륭하지 않은 것일 수도 있고요. 그래서 모든 것이 일종의 스킬 문제처럼 느껴지고, 그래서 어느 정도 작동하지 않는 겁니다. 당신은 에이전트들을 어떻게 병렬화할 수 있을지 등을 확인하고 싶어지고, 기본적으로 피터 스타인버거(Peter Steinberger)[^5]처럼 되고 싶어집니다.
피터는 아주 유명한데, 재미있는 사진이 있습니다. 그가 모니터 앞에 앉아 있고, 코덱스를 사용하기 때문에 수많은 코덱스 에이전트들이 모니터를 바둑판처럼 꽉 채우고 있습니다. 에이전트들에게 올바르게 프롬프트를 주고 많은 공을 들이면 각 작업에 20분 정도 걸립니다. 그래서 모두 20분 정도 걸리죠. 그들은 다수의, 약 10개의 리포지토리를 체크아웃한 상태입니다. 그래서 그는 에이전트들 사이를 오가며 작업을 줍니다. 훨씬 더 거시적인 매크로 액션으로 움직일 수 있습니다. 단순히 "여기 코드 한 줄이 있어. 여기 새로운 함수가 있어"가 아닙니다. "여기 새로운 기능이 있으니 에이전트 1에게 위임해. 여기 다른 것과 간섭하지 않을 새로운 기능이 있으니 에이전트 2에게 줘"라는 식입니다. 그러고 나서 해당 코드에 얼마나 신경을 쓰느냐에 따라 최선을 다해 그들의 작업을 리뷰하는 거죠.
내 소프트웨어 리포지토리를 조작할 수 있는 이 매크로 액션들은 무엇일까? 한 에이전트는 연구를 하고, 다른 에이전트는 코드를 작성하고, 또 다른 에이전트는 새로운 구현을 위한 계획을 세웁니다. 그래서 모든 것은 당신의 리포지토리 위에서 이런 매크로 액션들을 통해 일어납니다. 그리고 당신은 그저 이 일에 정말 능숙해지고 이를 위한 근육 기억을 개발하려고 노력하게 됩니다. 첫째로 이것이 실제로 작동하기 때문에 극도로 보람찹니다. 하지만 동시에 새롭게 배워야 할 대상이기도 하죠. 그래서 정신병이 오는 겁니다.
사라 궈: 네, 저는 에이전트가 무언가를 완료하기를 기다릴 때마다 본능적으로 떠오르는 당연한 생각이 "음, 난 일을 더 할 수 있는데"인 것 같습니다.
안드레 카파시: 네.
사라 궈: 그렇죠? 제가 더 많은 토큰에 접근할 수 있다면 작업을 병렬화하고 더 많은 과제를 추가해야 하니까요. 그래서 그건 매우 스트레스받는 일입니다. 왜냐하면 토큰 지출 능력에 한계를 느끼지 못한다면, 시스템 내에서 최대 능력을 제한하는 병목은 바로 당신 자신이니까요.
안드레 카파시: 네, 만약 구독량을 극대화하지 못하고 있다면요.
사라 궈: 적어도요.
안드레 카파시: 네. 그리고 이상적으로는 여러 에이전트를 위한 것입니다. 맞습니다. 코덱스의 할당량을 다 쓰면 클로드나 다른 것으로 전환해야 하죠. 모르겠습니다. 그게 제가 조금씩 시도해 보고 있는 일입니다. 그리고 저는 구독량이 남아있으면 불안함을 느낍니다. 그건 제가 토큰 처리량을 극대화하지 못했다는 뜻이니까요. 저는 박사 과정 학생일 때 이런 것을 경험했습니다. GPU가 돌아가고 있지 않으면 불안감을 느끼곤 했죠. GPU 역량이 있는데도 사용 가능한 플롭스(flops)를 극대화하지 못하고 있는 거니까요. 하지만 이제는 플롭스가 아니라 토큰에 관한 문제입니다. 당신의 토큰 처리량은 얼마입니까? 그리고 당신은 어느 정도의 토큰 처리량을 통제하고 있습니까?
저는 적어도 10년 동안 많은 엔지니어링 작업에서 사람들이 컴퓨팅 자원에 한계를 느끼지 못했다는 점이 매우 흥미롭다고 주장하고 싶습니다. 그렇죠? 그런데 이제는 업계 전체가 그것을 느끼고 있습니다. 그들은 자원의 한계를 느꼈죠. 그리고 이제 이렇게 역량의 큰 도약이 생기자, "아, 사실 더 이상 컴퓨팅 자원 접근 능력이 병목이 아니구나"라고 깨닫게 된 거죠.
사라 궈: 네. 내가 제약 조건이구나.
안드레 카파시: 네.
사라 궈: 네, 스킬의 문제입니다.
안드레 카파시: 네. 그건 매우 힘을 부여해 줍니다. 왜냐하면, 네, 당신이 더 나아질 수 있으니까요. 그래서 이것이 매우 중독성이 있다고 생각합니다. 당신이 실력이 향상될 때마다 능력이 잠금 해제되니까요.
사라 궈: 이 기술이 어디로 갈 것이라 생각하시나요? 만약 안드레가 이터레이션을 반복하고 다른 모든 사람도 코딩 에이전트 사용에 능숙해지기 위해 하루 16시간씩 매달린다면 말이죠. 당신이 숙달(mastery)에 도달한 1년 후의 모습은 어떨까요?
안드레 카파시: 네, 연말이나 2년, 3년, 5년, 10년 후의 숙달된 모습은 어떨까요? 글쎄요, 저는 기본적으로 모든 사람이 스택의 위로 올라가는 데 관심이 있다고 생각합니다. 그래서 에이전트와의 단일 세션에 관한 것이 아니라고 말하고 싶습니다. 여러 에이전트가 팀을 이뤄 어떻게 협업하는지 같은 것이죠. 그래서 모든 사람이 그 모습이 어떨지 알아내려고 노력하고 있습니다.
그리고 '클로(claw)' 역시 꽤 흥미로운 방향이라고 말하고 싶습니다. 왜냐하면 제가 클로라고 할 때, 이는 지속성을 완전히 새로운 수준으로 끌어올리는 레이어를 의미하기 때문입니다. 그것은 계속해서 루프를 도는 무언가입니다. 당신이 대화형으로 그 중간에 개입해야 하는 것이 아닙니다. 그건 자체적인 작은 샌드박스와 자체적인 작은 영역을 가지고 있어서, 당신이 보고 있지 않을 때조차 당신을 대신해 무언가를 수행하는 식입니다. 그리고 아직 일반 에이전트에는 구현되지 않은 더 정교한 메모리 시스템 등도 가지고 있습니다. 컨텍스트가 바닥났을 때 메모리를 압축하는 정도가 기본적으로 주어지는 것이라면, 오픈클로(OpenClaw)[^4]는 그보다 훨씬 더 정교한 메모리를 가지고 있다고 말할 수 있습니다.
사라 궈: 오픈클로의 경우, 더 넓은 도구 접근성보다는 바로 그 지점이 사용자들에게 공감을 얻은 요소라고 생각하시나요?
안드레 카파시: 네. 공감을 얻은 요소가 적어도 다섯 가지는 된다고 생각합니다. 여기엔 정말 좋은 아이디어가 많이 들어있거든요.
사라 궈: 네, 피터가 정말 잘했죠.
안드레 카파시: 네. 피터는 정말 놀라운 일을 해냈습니다. 최근에 그를 만나 이에 관해 이야기를 나눴는데 그는 무척 겸손했지만, 제 생각엔 그가 5가지 다른 방식으로 동시에 혁신을 이루고 그것들을 하나로 합쳐냈다고 생각합니다.
예를 들어, SOUL.md 문서[^6]가 그렇습니다. 그는 실제로 꽤 설득력 있고 흥미로운 페르소나를 정교하게 만들어냈습니다. 저는 현재의 많은 에이전트가 이 부분을 제대로 이해하지 못하고 있다고 느낍니다. 저는 사실 Claude가 꽤 좋은 페르소나를 가지고 있다고 생각합니다. 마치 팀원처럼 느껴지죠.
사라 궈: 맞아요.
안드레 카파시: 그리고 당신과 함께 흥분해 주기도고요. 예를 들어, Codex는 훨씬 무미건조하다고 말하고 싶네요. 이건 꽤 흥미로운데, ChatGPT 내에서의 Codex는 훨씬 쾌활하고 극도로 아부하는 편이거든요. 하지만 코딩 에이전트로서의 Codex는 매우 무미건조합니다. 당신이 무엇을 만들고 있는지 신경 쓰지 않는 것처럼 보입니다. "아, 내가 구현했어"라는 식이라, "알겠는데, 우리가 뭘 만들고 있었는지는 이해하고 있어?"라고 묻고 싶어집니다.
사라 궈: 맞아요.
안드레 카파시: 그렇지 않나요? 그리고 또 한 가지 말씀드리자면, 예를 들어 Claude의 경우 아부하는 정도를 아주 잘 조절해서 Claude가 칭찬해 줄 때면 제가 그 칭찬을 조금은 받을 자격이 있다고 느끼게 됩니다. 가끔 제가 구체화되지 않은 생각이나 완전히 다듬어지지 않았다고 생각하는 아이디어를 제시하면, 별로 강하게 반응하지 않거든요. "아 네, 구현할 수 있습니다" 정도죠. 하지만 제 스스로 생각하기에도 정말 좋은 아이디어일 때는 조금 더 보상을 주는 것 같습니다. 그래서 저는 기묘하게도 마치 클로드의 칭찬을 얻어내기 위해 노력하는 기분이 듭니다.
사라 궈: 맞아요.
안드레 카파시: 그래서 페르소나가 매우 중요하다고 생각합니다. 그리고 다른 도구 중 상당수는 이 점을 그만큼 높이 평가하지 않는 것 같습니다. 이런 측면에서 피터 역시 이 부분을 매우 중요하게 생각했고, 그게 옳았습니다. 그리고 메모리 시스템, 그리고 그냥 그가 이 모든 걸 즐기면서 하고 있다는 점이요. 자동화의 단일 WhatsApp 포털 도구도 마찬가지고요.
사라 궈: 네.
사라 궈: 소프트웨어 엔지니어링 외에 당신의 클로를 사용해 개인적으로 해본 일 중에 재미있거나 흥미로웠던 게 있나요?
안드레 카파시: 네. 1월에 저는 '클로 광기'의 시기를 겪었습니다. 기본적으로 제 집을 돌보는 클로를 만들었어요. 저는 그를 '집요정 도비(Dobby the Elf)[^7] 클로'라고 부릅니다. 기본적으로 에이전트를 이용해 로컬 영역 네트워크에 있는 우리 집의 모든 스마트 홈 하위 시스템을 찾도록 했는데, 그게 별다른 설정 없이 바로 작동해서 좀 놀랐습니다. 그냥 "우리 집에 Sonos가 있는 것 같은데 찾아볼래?"라고 말했거든요.
그러자 에이전트가 로컬 네트워크에 있는 모든 컴퓨터의 IP 스캔을 수행해서 Sonos 시스템을 찾았고, 비밀번호 보호 같은 것이 없다는 걸 알고는 그냥 로그인해서 "네, Sonos 시스템이 설치되어 있네요. 어떻게 작동하는지 리버스 엔지니어링을 해볼게요"라고 하는 겁니다. 그리고 웹 검색을 하더니 "좋아요, 이것들이 API 엔드포인트네요."라고 찾아냈습니다. 그러고는 "테스트해 볼까요?"라고 묻길래, 저는 "와, 네가 방금 그걸 다 했다고?"라며 놀랐죠. 그래서 제가 "서재에 음악 좀 틀어볼래?"라고 했더니 에이전트가 실행했고 음악이 나옵니다. "내가 방금 내 Sonos 찾아볼래?라고 쳤을 뿐인데..."
사라 궈: 정말 미쳤네요. 프롬프트 세 번 만에요.
안드레 카파시: 갑자기 음악이 재생되다니 믿을 수가 없었습니다.
사라 궈: 맞아요.
안드레 카파시: 조명에도 똑같이 했습니다. 그래서 기본적으로 해킹해 들어가서 전체를 파악하고, API를 생성하고, 대시보드를 만들어서 집 안의 모든 조명을 제어할 수 있는 명령 센터를 볼 수 있게 해줬습니다. 그러고는 조명을 켜고 끄는 겁니다. 그래서 제가 "도비, 잘 시간이야"라고 하면 조명이 모두 꺼지는 식이죠. 등등 말입니다. 그래서 도비는 제 조명, 냉난방 공조(HVAC), 블라인드, 수영장과 스파, 그리고 보안 시스템까지 제어합니다. 집 밖에 카메라가 설치되어 있는데, 누군가 들어올 때마다 비디오를 확인하는 Qwen[^8] 모델을 둡니다. 먼저 변화 감지(Change detection)를 거치죠.
사라 궈: 맞아요.
안드레 카파시: 변화가 감지되면 Qwen으로 넘어가서 실제로 제 WhatsApp으로 문자를 보냅니다. 외부 이미지를 보여주며 "FedEx 트럭이 막 도착했어요, 확인해 보시는 게 좋겠습니다. 새 우편물이 왔을 수 있어요."라고 말이죠. 도비가 제게 이런 문자를 보냅니다.
사라 궈: 이거 정말 엄청나네요.
안드레 카파시: 그래서 도비가 집을 책임지고 있습니다. 저는 WhatsApp을 통해 문자를 주고받고요. 제 집을 관리하는 이 매크로 액션들을 갖게 된 것은 정말 재미있었습니다. 그 이상으로 한계를 엄청나게 밀어붙여 보지는 않았어요. 사람들이 이것으로 훨씬 더 미친 짓들을 많이 하고 있다고 생각합니다. 하지만 제게는 홈 오토메이션 설정만 해도, 예전에는 앱을 6개나 써야 했거든요.
사라 궈: 네.
안드레 카파시: 완전히 다른 앱들이었죠. 그런데 이제는 그 앱들을 더 이상 쓸 필요가 없습니다. 도비가 자연어로 모든 걸 통제하니까요. 놀랍습니다. 저는 아직 이 패러다임을 한계까지 밀어붙이지도 않았지만, 이미 그것만으로도 매우 유용하고 큰 영감을 준다고 말하고 싶습니다.
사라 궈: 이것이 소프트웨어와 관련해 사람들이 사용자 경험 측면에서 원하는 바를 시사한다고 생각하시나요? 왜냐하면 저는... 사람들이 새로운 소프트웨어나 새로운 UI를 배우는 데 노력이 든다는 사실이 꽤 무시되고 있는 것 같거든요.
안드레 카파시: 네. 제 생각엔 어느 정도는 그렇습니다. 사람들이 AI가 어때야 한다고 생각하는지를 역추적해보면, 사람들의 머릿속에 있는 AI의 모습은 사실 가공되지 않은 원시적인 의미의 LLM과는 다릅니다. LLM은 토큰 생성기라서 더 많은 토큰이 튀어나올 뿐이죠. 하지만 사람들이 생각하는 AI는 자신이 무언가를 말해주면 그것을 기억해 주는 이 페르소나 정체성에 가깝습니다. 알겠죠? 그리고 WhatsApp 뒤에 있는 일종의 개체입니다. 훨씬 더 이해하기 쉽죠.
사라 궈: 맞아요.
안드레 카파시: 그래서 어느 정도는 AI의 행동 방식에 대해 사람들이 이미 가지고 있는 기대치를 충족시키는 것이라고 생각합니다. 하지만 그 이면에는 수많은 기술적 디테일이 들어갑니다. 그리고 LLM은 대부분의 사람들이 AI로 분류하기에는 너무 원시적인 도구(primitive)입니다. 이해되시나요?
사라 궈: 네. 우리가 AI가 무엇인지 이해하는 방식에 있어, 그것을 '도비'라거나 어떤 페르소나로 묘사하는 것이 분명 사람들의 공감을 불러일으킨다고 생각합니다. 또한, 홈 오토메이션을 위해 6개의 서로 다른 소프트웨어 시스템을 하나로 통합하신 것은 '사람들이 오늘날 우리가 가진 모든 소프트웨어를 정말로 원하는가?'라는 다른 차원의 질문을 던진다고 생각합니다. 그렇죠? 왜냐하면 하드웨어는 그대로 있지만 이제 소프트웨어나 그 UX 레이어는 버린 셈이라고 주장할 수도 있으니까요. 그게 사람들이 원하는 것이라고 생각하시나요?
안드레 카파시: 네, 스마트홈 기기 등을 사용하기 위해 앱스토어에 있는 이런 앱들이 어떤 의미에서는 애초에 존재하지 말았어야 했다는 느낌이 있습니다. 그냥 API만 있고 에이전트들이 직접 그것을 사용해야 하지 않을까요? 어떤 개별 앱에서도 할 수 없는 온갖 홈 오토메이션 작업을 할 수 있으니까요. 그렇죠?
사라 궈: 네.
안드레 카파시: 그리고 LLM은 실제로 도구를 구동하고 모든 올바른 도구를 호출하여 꽤 복잡한 작업들을 수행할 수 있습니다. 그래서 어떤 의미에서는, 에이전트들이 알아서 그것들을 흡수해 버릴 테니 존재하지 말았어야 할 수많은 맞춤형 전용 앱들이 과잉 생산된 것은 아닌지 시사하기도 합니다. 모든 것은 훨씬 더 노출된 API 엔드포인트여야 하고, 에이전트는 모든 요소를 도구로 호출하는 지능의 접착제여야 하는 거죠.
또 다른 예로 제 러닝머신이 있습니다. 제 러닝머신을 위한 앱이 있는데, 저는 유산소 운동을 얼마나 자주 하는지 기록하고 싶었습니다. 하지만 웹 UI에 로그인해서 과정을 거치는 등의 작업은 하고 싶지 않아요. 이 모든 것이 그냥 API로 제공되어야 하고, 이는 에이전트 중심의 웹이나 에이전트 우선 도구와 같은 방향으로 나아가는 것입니다. 그래서 저는 업계가 많은 측면에서 재편되어야 한다고 생각합니다. 고객은 더 이상 인간이 아닙니다. 인간을 대신해 행동하는 에이전트가 되는 것이죠. 그리고 이 리팩토링은 아마도 상당히 큰 규모가 될 것입니다.
사라 궈: 이것에 대해 사람들이 때때로 반문하는 점 중 하나는, 일반인들이 이런 도구 중 일부를 바이브 코딩(vibe coding)[^11] 할 것이라 기대하느냐는 겁니다. 일반인들이 방금 말씀하신 이런 일들을 할 거라고 기대하시나요?
안드레 카파시: 어느 정도는 그게 오늘날 존재하는 기술일 뿐입니다. 지금 당장은 바이브 코딩이 일부 개입되고, 저도 그것을 지켜보며 시스템과 함께 작업하고 있습니다. 하지만 제가 방금 말한 종류의 일들은 1~2년, 또는 3년 안에는 기본으로 무상 제공되어야 한다고 느낍니다. 바이브 코딩이 전혀 필요하지 않은 거죠. 이건 너무나 쉽고 당연한 필수 조건(table stakes)입니다. 심지어 오픈 소스 모델 등 어떤 AI라도 이 정도는 할 수 있게 될 겁니다.
사라 궈: 기술 지식이 부족한 사람의 의도조차 이런 결과물로 매우 쉽게 변환해 낼 수 있어야 한다는 말씀이시군요.
안드레 카파시: 극도로 쉽게 가능해질 겁니다. 네. 오늘은 바이브 코딩이 개입되어 있어서 많은 사람이 하지는 않겠지만요.
사라 궈: 하지만 여전히 몇 가지 설계 결정은 내려야 하잖아요, 그렇죠? 우리가 논의했던 프레임(frames) 같은 경우를 예로 들 수 있겠죠.
안드레 카파시: 네. 네. 하지만 진입 장벽이 무너지면서, 당신을 대신하는 일회성(ephemeral) 소프트웨어가 되고, 일종의 클로가 당신을 위해 모든 세부 사항을 처리하게 되며, 당신은 거기에 개입하지 않게 될 거라 생각합니다. 클로에게는 시스템이 있어서 알아서 다 파악할 것이고, 당신에게는 UI만 제시하며 당신은 그저 지시만 내리면 되는 겁니다, 아시겠죠?
사라 궈: 맞아요. 왜 본인의 클로를 이용해 할 수 있는 한계를 개인적으로 밀어붙이지 않으셨나요?
안드레 카파시: 네.
사라 궈: 오토리서치(AutoResearch)[^9] 등 더 중요한 프로젝트에 집중하고 계신 건가요? 아니면 숙달을 향한 언덕을 오르고 계신 건가요, 아니면 다른 이유가 있나요?
안드레 카파시: 저는 그저 모든 것에 너무 주의를 빼앗기고 있다는 느낌이 듭니다. 클로 작업에 일주일을 썼는데 할 일이 오히려 더 많아졌어요.
사라 궈: 보석과 도구 같은 거죠. 우린 모두 불행히도 그저 더 바빠졌을 뿐이네요.
안드레 카파시: 네. 네. 저는 이메일이나 캘린더 등 다른 많은 기능들을 제대로 활용하지 못했습니다. 여전히 조금 의구심이 들고 아직 매우 새롭고 다듬어지지 않은 부분들이 있어서 접근 권한을 주지 않았어요. 그래서 아직 제 디지털 라이프에 대한 전체 접근 권한을 주고 싶지는 않았습니다. 일부는 보안 및 프라이버시 문제도 있고, 그 영역에서는 매우 조심스럽기 때문입니다. 그래서 어느 정도는 그런 점 때문에 억제되고 있다고 말할 수 있습니다. 네, 아마 그게 주된 요인이겠지만, 또 다른 이유로는 클로를 일주일 동안 만지고 났더니 다른 일들이 터져서 주의가 너무 분산된다고 느끼기 때문이기도 합니다.
사라 궈: 당신이 에이전트들이 수행하길 오랫동안 바랐던 과제로서 모델을 훈련하거나 최소한 최적화할 수 있다는 점에 대해 언급하셨는데요. AutoResearch의 동기는 무엇이었나요?
안드레 카파시: 네. 일전에 제가 트위터에서 대충 이런 뉘앙스로 말한 적이 있습니다. 지금 사용 가능한 도구들을 최대한 활용하려면 본인 스스로가 병목이 되는 상황을 제거해야 한다고요. 다음 작업을 프롬프트하기 위해 그 자리에 대기하고 있어서는 안 됩니다. 스스로를 루프 밖으로 빼내야 해요. 상황이 완전히 자율적으로 돌아가도록 시스템을 구성해야 하며, 당신의 개입 없이 어떻게 토큰 처리량을 극대화할 수 있을까? 이것이 목표입니다.
그래서 저는 지금 이 게임의 본질은 당신의 레버리지(leverage)를 극대화하는 것이라고 언급했습니다. 저는 아주 가끔 적은 수의 토큰만 입력하고, 저를 대신해 엄청난 양의 작업이 수행됩니다. 제가 AutoResearch에 대해 트위터에 올렸을 때 사람들이 좋아해 주긴 했지만, 그 파급 효과까지 끝까지 생각해보진 않은 것 같습니다. 저에게 AutoResearch는 그 파급 효과의 한 예입니다. 왜냐하면 저는 결과를 지켜보는 등 루프 안의 연구자가 되고 싶지 않거든요. 제가 시스템의 발목을 잡고 있는 셈입니다.
그러니 질문은, 한 번 세팅해 놓고 시작 버튼만 누르면 되도록 이 모든 추상화 과정을 어떻게 리팩터링할 것인가입니다. 이 게임의 목표는 어떻게 하면 당신의 개입 없이 더 많은 에이전트가 더 오랫동안 당신을 대신해 일하게 만들 수 있느냐는 것입니다. 그리고 AutoResearch는 그저 "여기 목표가 있고, 평가 지표가 있고, 할 수 있는 것과 할 수 없는 것의 경계가 있으니, 시작해"라고 하는 것입니다.
사라 궈: 당신도 그 효과에 놀랐었죠.
안드레 카파시: 네. 저는 그게 작동할 거라 예상하지 못했습니다. 왜냐하면 제게는 프로젝트 데이터 챗(nanochat)[^10]이 있었고... 근본적으로 많은 사람들이 제가 GPT-2 모델 등을 훈련하는 것에 집착하는 것을 꽤 혼란스러워합니다. 하지만 제게 GPT 모델 등을 훈련하는 것은 그저 LLM을 훈련하기 위한 작은 환경이자 놀이터에 불과합니다. 그리고 근본적으로 제가 더 관심 있는 것은 이 재귀적 자가 개선(recursive self-improvement)이라는 아이디어와, 과연 LLM이 LLM을 개선하는 것이 어느 정도까지 가능한지에 대한 것입니다. 왜냐하면 모든 프론티어 랩(Frontier labs)에 있어 이것이 핵심이기 때문입니다. 당연한 이유에서죠. 그리고 그들 모두 대략적으로 재귀적 자가 개선을 시도하고 있습니다. 그래서 저에게 이것은 일종의 작은 실험장입니다.
저는 nanochat을 제가 20년 동안 해왔던 익숙하고 고전적인 방식인 수동으로 이미 꽤 많이 튜닝해 놓은 상태였습니다. 저는 연구자니까요, 20년 동안 이 일을 해왔습니다. 제 안에는... 오만함의 반대말이 뭐죠? 그것에 대한 본능적인 감각이라고 할까요?
사라 궈: 얻어낸 자신감(Earned confidence)이요?
안드레 카파시: 알겠습니다. 네. "아, 나 이 모델 수천 번은 학습시켜 봤지" 하는 20년간의 경험이 있습니다. 수많은 실험을 했고, 하이퍼파라미터 튜닝을 했으며, 제가 매우 익숙하고 20년 동안 해온 모든 것을 다 해놓은 상태였습니다. 네. 그리고 어느 정도 도달했을 때, 저는 꽤 잘 튜닝되었다고 생각했죠. 그러고 나서 하룻밤 동안 AutoResearch를 돌려놓았는데, 제가 보지 못했던 튜닝 값을 찾아 들고 온 겁니다.
네, 저는 가치 임베딩(value embeddings)에 대한 가중치 감쇠(weight decay)[^12]를 잊고 있었고, 제 Adam beta[^12] 값들은 충분히 튜닝되지 않았던 겁니다. 이러한 요소들은 서로 상호작용하기 때문에 하나를 튜닝하면 다른 것들도 잠재적으로 변경되어야만 합니다. 제가 그 병목이 되어서는 안 됩니다. 제가 이런 하이퍼파라미터 튜닝과 최적화 과정을 돌리고 있어서는 안 되며, 결과를 지켜보고 있어서도 안 됩니다. 이 경우에는 객관적인 기준이 있으니 그저 영원히 돌아갈 수 있도록 판을 구성하기만 하면 됩니다.
그래서 그것은 개선을 시도하는 단일 루프 버전의 일종의 AutoResearch입니다. 저는 저장소(repo)가 이미 꽤 잘 튜닝되어 있었음에도 불구하고 그것이 무언가를 찾아냈다는 사실에 놀랐습니다. 게다가 그건 단일 루프일 뿐입니다. 프론티어 랩들은 수만 개의 GPU 클러스터를 보유하고 있습니다. 그래서 더 작은 모델에서 이런 자동화의 상당 부분을 어떻게 구현할 수 있을지 상상하는 것은 매우 쉽습니다. 근본적으로 프론티어 수준의 지능을 둘러싼 모든 것은 외삽(extrapolation)[^15]과 스케일링 법칙에 관한 것입니다. 따라서 작은 모델에서 엄청난 양의 탐색을 수행한 다음 그것을 외부로 외삽하여 확장하려 노력하는 것이죠.
사라 궈: 우리의 연구 노력이 훨씬 효율적이 될 거라는 말씀이시군요. 우리가 이런 실험을 더 잘할 수 있다면 규모를 확장할 때 더 나은 방향성을 가지게 될 테니까요.
안드레 카파시: 네. 가장 흥미로운 프로젝트이자 아마도 프론티어 랩들이 현재 작업하고 있는 것은, 작은 모델에서 실험하고 이를 최대한 자율적으로 만들어 연구자를 루프에서 제거하는 것이라고 말하고 싶습니다.
사라 궈: 맞아요.
안드레 카파시: 그들은 아까 말한 그 오만의 반대말... 너무 과도한 자신감을 너무 많이 가지고 있습니다. 네, 그들은 모릅니다. 사실 그들은 이 중 어떤 것도 건드려서는 안 됩니다. 그래서 전체를 처음부터 다시 작성해야 합니다. 왜냐하면 지금은, 물론 그들이 아이디어를 제공할 수는 있지만, 그 아이디어를 직접 실행해서는 안 되기 때문입니다.
아이디어 대기열(queue)이 있고, 아카이브 논문과 GitHub 저장소를 바탕으로 아이디어를 도출해 내는 자동화된 과학자가 아이디어를 주입할 수도 있습니다. 또는 연구자들이 아이디어를 기여할 수도 있죠. 하지만 그것은 단일 대기열이며, 작업자가 항목을 가져와서 실험해 봅니다. 그리고 효과가 있는 것은 기능 브랜치(feature branch)에 올라가고, 어떤 사람들은 그 기능 브랜치를 모니터링하다가 가끔 메인 브랜치로 병합(merge)할 수도 있습니다. 그러니까 모든 프로세스에서 인간을 배제하고 가능한 한 많이 자동화하여 초당 높은 토큰 처리량을 확보하는 것, 이를 위해 모든 추상화를 재고하고 모든 것을 재편해야만 합니다. 네, 그래서 저는 이게 매우 흥미롭다고 생각합니다.
사라 궈: 여기서 재귀적인 단계를 한 번 더 밟아본다면, 모델이 당신보다 더 나은 program.md[^13]를 작성하는 건 언제쯤일까요?
안드레 카파시: 네. program.md는 말하자면...
사라 궈: 우리가 루프에 없는 상태 말이죠.
안드레 카파시: 네, 정확합니다. 네. program.md는 AutoResearch가 어떻게 작동해야 하는지 제가 대충 설명해 놓은 형편없는 시도입니다. "이것을 하고, 그다음 저것과 저것을 하고, 그리고 이런 종류의 아이디어들을 시도해 봐" 같은 것이죠. 그리고 "여기 아키텍처를 살펴보고, 옵티마이저를 살펴보라" 등등의 아이디어가 담겨 있습니다. 이건 제가 마크다운(Markdown)으로 대충 생각해 낸 것뿐이잖아요, 그렇죠?
사라 궈: 네.
안드레 카파시: 그래서, 네, 맞습니다. 여러 가지 다른 program.md들이 서로 다른 진척도를 가져다줄 거라 상상할 수 있을 겁니다. 그래서 기본적으로 모든 연구 조직은 program.md에 의해 설명됩니다.
사라 궈: 네.
안드레 카파시: 연구 조직이란 모든 역할과 전체가 어떻게 연결되는지를 설명하는 마크다운 파일들의 집합입니다. 그리고 더 나은 연구 조직을 가지는 것을 상상할 수 있습니다. 예를 들어, 아침 스탠드업 회의가 쓸모없으니 횟수를 줄이는 식이죠.
사라 궈: 맞아요.
안드레 카파시: 이 모든 것이 그저 코드일 뿐입니다, 그렇죠? 그래서 어떤 조직은 스탠드업 회의를 덜 할 수도 있고, 어떤 조직은 더 많이 할 수도 있습니다. 어떤 조직은 매우 위험을 감수하는 성향일 수 있고, 어떤 조직은 덜 그럴 수 있습니다. 그래서 여러 연구 조직이 존재하고 그들이 모두 코드를 가지고 있는 상황을 확실히 상상할 수 있습니다. 그리고 코드가 있다면 코드를 튜닝하는 것도 상상할 수 있죠. 그러니 100% 그 메타 레이어가 존재하는 셈입니다.
사라 궈: 제 경연 대회 아이디어에 대한 문자 보셨나요? 제 아이디어는 사람들이 각기 다른 program.md를 작성하게 하는 것이었죠, 맞나요? 그래서 동일한 하드웨어에서 어디서 가장 많은 개선을 얻을 수 있는지 보는 겁니다.
안드레 카파시: 아, 알겠습니다. 그러고 나서 그 모든 데이터를 모델에게 주고 "더 나은 program.md를 작성해 봐"라고 하는 거죠.
사라 궈: 네. 네, 정확합니다. 우리는 더 나은 결과물을 얻게 될 겁니다. 안 나올 수가 없잖아요, 그렇죠?
안드레 카파시: 개선이 어디서 왔는지 100% 살펴볼 수 있고, 이런 종류의 일들이 더 많이 수행되도록 program.md를 변경할 수 있을까 생각할 수 있습니다. 또는 작동하지 않았던 것들, 본질적으로...
사라 궈: 단지 메타 최적화(meta optimization)를 하는 거죠.
안드레 카파시: 네. 네. 100% 그런 작업을 상상할 수 있으니 훌륭한 아이디어라고 생각합니다. 하지만 이건 마치 양파의 껍질처럼 하나의 프로세스가 있고, 두 번째 프로세스, 그리고 다음 프로세스가 있는 식으로 한 번에 한 단계씩 나아가는 것과 같다고 생각합니다. 이제 LLM 부분은 당연한 것으로 여겨지고, 에이전트 부분도 당연해졌으며, 클로와 같은 개체도 당연시되고, 이제 우리는 그것들을 여러 개 가질 수 있고, 그것들에 지시를 내릴 수 있으며, 그 지시들에 대한 최적화까지 가능해졌습니다. 그래서 이건 약간 과할 정도입니다. 하지만 제 말은, 이래서 일종의 정신병에 빠지게 된다는 겁니다. 이건 무한하고 모든 것이 스킬의 문제니까요. 그래서 그런 감정들이 다시 돌아오면서, 이것이 그토록 미친 일인 이유입니다.
사라 궈: 알겠습니다. 우리는 그저 현재 상황을 진단하고 지금 당장 어떤 스킬이 적절한지 파악하려는 중인데, 이런 상황이 암시하는 바가 무엇이라고 생각하시나요? 이것이 우리가 여러 다양한 분야에서 달성하고자 노력해야 하는 루프일까요?
안드레 카파시: 네. 그리고 그건 잘 작동하죠? 지표를 생성하거나, 당신 없이도 에이전트가 계속해서 작업할 수 있는 능력을 만들어 내는 것 말이죠.
사라 궈: 네. 그렇다면 여전히 성능 엔지니어링(performance engineering) 같은 분야가 남아 있는 걸까요?
안드레 카파시: 네. 저는 LLM 광기 위에 몇 가지 주의할 점(caveats)을 덧붙이고 싶습니다. 첫째로, 이것은 평가하기 쉬운 객관적 지표가 있는 모든 것에 극도로 적합합니다. 예를 들어, 더 효율적인 CUDA 커널이나 모델 내 다양한 부분의 코드를 작성하는 일 등은 완벽하게 들어맞습니다. 왜냐하면 비효율적인 코드가 있고, 동작은 똑같지만 훨씬 더 빠른 효율적인 코드를 원하기 때문입니다. 완벽하게 맞죠. 그래서 많은 것들이 오토리서치에 완벽하게 적합하지만, 그렇지 않은 것들도 많을 겁니다. 평가할 수 없다면 오토리서치도 할 수 없는 것이니까요, 그렇죠? 그게 첫 번째 주의사항입니다.
그리고 두 번째 주의사항은 우리가 다음 단계에 관해 이야기하고 있고 그것이 무엇인지 대략 보고 있지만, 근본적으로는 여전히 전체 시스템이... 여전히 시스템의 이음새가 터질 것 같고 금이 가 있으며 완전히 작동하지는 않는다는 점입니다. 너무 앞서 나가려 한다면, 전체 시스템이 사실 유용하지 않을 수도 있다는 뜻입니다. 왜냐하면 이 모델들이 많이 개선되긴 했지만, 여전히 '거친 부분(rough around the edges)'이 남아 있기 때문입니다. 제가 이렇게 표현하는 게 맞겠네요. 저는 평생 어시스턴트 프로그래머로 살아온 극도로 뛰어난 박사 과정 학생과 10살짜리 아이에게 동시에 이야기하고 있는 것 같은 기분을 느낍니다. 이건 정말 이상합니다. 인간의 지능은 훨씬 더 유기적으로 결합되어 있으니까요.
사라 궈: 네, 인간에게서 그런 조합을 마주칠 일은 없죠.
안드레 카파시: 네. 이런 들쭉날쭉함(불균일성)[^14]은 정말 이상합니다. 인간은 이런 종류의 불균일성을 훨씬 적게 가지고 있습니다. 비록 어느 정도는 있지만요. 하지만 에이전트들은 훨씬 더 많은 불균일성을 가지고 있습니다. 때로는 제가 기능을 요청하면 완전히 틀린 결과물을 가져오고, 완전히 잘못된 루프에 빠지기도 합니다. 그러면 저는 매번 에이전트에게 엄청난 좌절감을 느낍니다. 그 힘을 느끼면서도 여전히... 모델은 때때로 여전히 제게 말이 안 되는 짓을 하거든요.
사라 궈: 에이전트가 명백한 문제라는 걸 알아챘어야 할 일에 컴퓨팅 자원을 엄청나게 낭비했다고 느껴질 때 저는 매우 짜증이 납니다.
안드레 카파시: 네. 제 가설을 말씀드리자면, 더 큰 문제 중 하나는 그 근본에 있는 것일 수 있습니다. 근본적으로 이 모델들은 강화 학습(Reinforcement Learning)을 통해 훈련됩니다. 그래서 모델들은 방금 우리가 이야기한 것과 정확히 같은 문제로 씨름하고 있습니다. 연구소들은 검증 가능하거나 보상이 있는 영역에서 모델을 개선할 수 있습니다. 당신이 프로그램을 올바르게 작성했는가? 단위 테스트를 통과했는가? 예, 아니오?
하지만 모델들이 고전하는 영역이 있습니다. 예를 들어, 제 마음속에 있던 뉘앙스나 제가 의도했던 바, 그리고 언제 명확한 질문을 던져야 하는지 파악하는 데 매우 어려움을 겪는다고 생각합니다. 아니면 제가... 부드러운 직관이 필요한 영역은 성과가 더 떨어집니다. 그래서 일종의 정해진 레일 위에 있을 때는 초지능 회로의 일부가 된 것처럼 엄청나게 빠른 속도로 날아가지만, 레일에서 벗어나 검증 가능한 도메인 밖에 있게 되면 갑자기 모든 것이 길을 잃고 헤매는 식입니다. 다른 식으로 표현해 보자면, 지금 당장 최첨단 모델인 ChatGPT에 가서 "농담 하나 해봐"라고 요구한다면, 어떤 농담이 나올지 아시나요?
사라 궈: 농담이요? 글쎄요... 표준적인 형태를 말씀드릴 순 없지만, ChatGPT가 한 세 개 정도의 농담을 돌려쓰는 것 같긴 합니다.
안드레 카파시: 네. 네. 그래서 모든 LLM이 가장 좋아하는 농담은 "과학자들은 왜 원자를 믿지 않을까요?"입니다.
사라 궈: 네.
안드레 카파시: "왜냐하면 원자가 모든 것을 구성하기(make everything up)[^15] 때문이죠."
사라 궈: 아, 알겠습니다. 모든 걸 지어낸다는 뜻이군요.
안드레 카파시: 네.
사라 궈: 이 농담이 언제 나타났을까요?
안드레 카파시: 이건 3, 4년 전에도 얻을 수 있었던 농담이고, 오늘날에도 여전히 듣게 되는 농담입니다.
사라 궈: 그렇군요.
안드레 카파시: 그래서 모델들이 엄청나게 개선되었고 에이전트 수준의 작업을 주면 몇 시간 동안 계속해서 당신을 위해 산도 움직일 수 있을 정도지만, 농담을 해달라고 하면 5년 전의 멍청하고 형편없는 농담을 던집니다. 왜냐하면 농담은 강화 학습(RL)의 영역 밖에 있기 때문입니다. 개선되고 있는 영역 밖에 있죠. 이게 바로 그 불균일성의 한 단면입니다. 모델이 좋아지면 더 나은 농담을 하거나 더 다양한 농담을 할 거라고 기대해야 하지 않을까요? 그 부분은 최적화되지 않았기 때문에 제자리에 멈춰 있는 겁니다.
사라 궈: 이 현상이 코드의 똑똑함과 농담의 똑똑함이 연결되는 넓은 의미의 지능, 즉 일반화를 우리가 아직 보지 못하고 있다는 뜻이라고 생각하시나요?
안드레 카파시: 네, 검증 가능한 것과 그렇지 않은 것 사이, 그리고 입력된 데이터에 따라 연구소들이 임의로 최적화하는 것과 그렇지 않은 것 사이에 어떤 분리(decoupling) 현상이 있다고 생각합니다.
사라 궈: 하지만 일부 연구 그룹에서는 코드 생성이나 이러한 매우 검증 가능한 분야에서 똑똑하다면 모든 것에서 더 나아져야 한다는 전제를 가지고 있습니다. 그리고 이 농담 사례는 그것이 모든 분야에서 일어나는 것은 아님을 시사하네요.
안드레 카파시: 네, 그런 일이 일어나고 있다고 생각하지 않습니다. 알겠습니다. 그런 일이 일어나지 않는 것 같아요. 어쩌면 약간은 나타나고 있을지 모르지만, 만족스러운 수준은 아니라고 생각합니다.
사라 궈: 그런 불균일성은 인간에게도 존재합니다. 수학에 매우 능하면서도 정말 썰렁한 농담을 할 수도 있으니까요.
안드레 카파시: 그건 사실입니다. 네. 그렇다 하더라도 여전히 우리가 얻지 못하고 있다는 뜻입니다. 더 나은 모델을 얻게 되면서 우리 사회의 모든 영역에서 엄청난 지능과 능력을 공짜로 얻고 있다는 것이 주된 스토리지만, 그것이 근본적으로 일어나는 일의 전부는 아닙니다. 사각지대가 존재하고 어떤 것들은 최적화되지 않으며, 이 모든 것이 내부를 알 수 없는 불투명한 신경망 모델 안에 뭉쳐져 있습니다, 그렇죠? 그래서 모델이 훈련받은 정해진 레일 위에 있으면 빛의 속도로 가는 것처럼 모든 것이 원활하지만, 그렇지 않으면 아닌 것입니다. 그래서 불균일성이 나타나는 겁니다. 따라서 앞으로 무슨 일이 일어나야 할지 명백하더라도, 아직은 모든 것이 완벽하게 작동하지 않거나 스킬 문제이거나, 아니면 우리가 아직 그것을 사용하는 방법을 완전히 파악하지 못했기 때문에 그것이 완전히 나아가도록 내버려둘 수는 없다고 생각합니다. 그래서 파악하기 어렵습니다.
사라 궈: 약간 불경스러운 질문 하나 해도 될까요? 만약 이 불균일성이 지속되고 있고 이 모든 것이 적어도 단일한 인터페이스, 즉 단일 모델에 말려 들어가 있다면요. 그게 말이 된다고 생각하시나요, 아니면 지능의 여러 영역에 맞춰 최적화되거나 개선될 수 있는 것들로 언번들링(기능 분리)되어야 한다고 생각하시나요? 모델을 여러 분야의 다양한 전문가 모델 등으로 언번들링하는 거요? 좀 더 직접적으로요. 우리가 내부를 알 수 없는 단순한 MoE(Mixture of Experts) 방식 말고요. 왜냐하면 외부 사용자로서는 "왜 이 분야에서는 이렇게 잘하는데 저 분야에서는 못할까?" 하며 혼란스러울 수 있거든요.
안드레 카파시: 네, 제 인상으로는 현재 연구소들은 이 모든 다양한 도메인에서 임의의 지능을 갖춘 단일한 모노컬처(monoculture) 모델을 보유하려고 시도하는 것 같습니다. 그래서 그냥 파라미터 안에 다 쑤셔 넣는 거죠. 하지만 저는 지능에 있어 더 많은 종 분화(speciation)가 일어날 것으로 예상해야 한다고 생각합니다. 아시다시피 동물계에는 매우 다양한 두뇌가 존재하며 자연에는 수많은 다양한 생태적 지위(niche)가 있습니다. 시각 피질이나 다른 특정 부위가 과도하게 발달한 동물도 있죠. 그래서 저는 우리가 더 많은 종 분화를 볼 수 있어야 한다고 생각합니다.
모든 것을 다 아는 하나의 오라클(oracle)이 필요하지는 않습니다. 종 분화를 거친 뒤 그것을 특정 과제에 투입하는 것이죠. 그리고 우리는 이런 모습을 일부 보게 될 겁니다. 인지적 핵심을 유지하면서 여전히 유능하지만 특화되어 있어서, 당신이 정말 신경 쓰는 특정 작업, 예를 들어 Lean[^16]을 다루는 수학자의 경우 지연 시간이나 처리량 면에서 훨씬 더 효율적이 될 수 있는 작은 모델들을 더 많이 가질 수 있어야 하니까요. 예를 들어, 최근 출시된 것 중 몇 개는 그 도메인을 정말 확실히 타겟으로 삼고 있는 걸 봤습니다. 그러니 언번들링이 이치에 맞는 그러한 사례들이 아마도 좀 더 나올 것입니다.
사라 궈: 제 질문 중 하나는, 가용한 컴퓨팅 인프라에 대한 용량 제약이 이런 종 분화를 더 부추기는가 하는 점입니다. 왜냐하면 효율성이 실제로 더 중요해지기 때문입니다. 자금 문제는 차치하고, 이 모든 것에 자금이 관련되어 있다는 건 알지만, 단일 모델이라도 당신이 하는 모든 일에 컴퓨팅 자원을 무제한으로 사용할 수 있다면 모를까, 실제로 압박을 느껴서 "모든 사용 사례마다 이렇게 거대한 규모의 모델을 서비스할 수는 없어"라고 한다면요. 그런 상황이 종 분화로 이어진다고 생각하시나요? 이 질문이 이해되시나요?
안드레 카파시: 질문은 이해했습니다. 제가 조금 머뭇거리는 이유는 우리가 아직 종 분화를 그리 많이 보지 못했다고 생각하기 때문입니다. 그렇죠?
사라 궈: 아직은 없죠.
안드레 카파시: 우리는 모델의 모노컬처를 보고 있습니다. 그러니까... 비록 모델들에 이미 압박이 존재함에도 불구하고 여전히 '좋은 코드 모델을 만들어서 다시 메인으로 병합하자'는 압박이 분명히 존재합니다.
사라 궈: 네, 네.
안드레 카파시: 아마도 제가 느끼기에는 현재 단기적으로 극심한 공급 부족이 존재하고, 어쩌면 그게 지금 당장 더 많은 종 분화를 유발할 수도 있을 것 같습니다. 네, 근본적으로 연구소들은 모델을 서비스하고 있지만 최종 사용자가 어떤 질문을 할지 전혀 알지 못합니다. 따라서 모든 가능한 질문에 대해 다중 작업을 수행해야 한다는 점도 어느 정도 원인이 될 수 있습니다. 하지만 만약 당신이 기업을 찾아가서 당신이 신경 쓰는 특정한 문제에 대해 파트너십을 맺는다면, 거기서는 그런 걸 볼 수 있을지도 모릅니다. 아니면 조금 더 틈새시장(niche)을 겨냥한 매우 가치 있는 애플리케이션이 나올 수도 있고요. 하지만 지금 당장 그들은 가용한 모든 것의 전체성을 뒤쫓고 있는 것 같습니다.
저는 두뇌를 조작하는 과학이 아직 완전히 발달하지 않았다고 생각합니다.
사라 궈: 조작한다는 게 무슨 뜻인가요?
안드레 카파시: 그러니까, 기능(capability)을 잃지 않으면서 미세 조정을 하는 것 등을 말합니다. 우리는 단순한 컨텍스트 윈도우가 아닌 다른 방식으로 지능을 다루기 위한 이러한 기본 기능(primitives)을 가지고 있지 않습니다. 컨텍스트 윈도우는 그냥 작동하고 조작하기도 매우 저렴합니다. 이게 우리가 어느 정도 커스터마이징을 얻는 방식이죠. 하지만 모델을 더 깊이 조정하는 방법, 지속적인 학습(continual learning)을 수행하는 방법, 특정 영역에서 파인튜닝을 하거나 특정 영역에서 더 나아지는 방법, 컨텍스트 윈도우가 아닌 실제 가중치(weights)를 건드리는 방법에 관한 과학은 아직 더 발전해야 한다고 생각합니다. 컨텍스트 윈도우보다 가중치를 건드리는 것이 훨씬 더 까다롭다고 말하고 싶습니다. 왜냐하면 그것은 실제로 모델 전체와 잠재적으로 그 지능을 근본적으로 변화시키는 것이기 때문입니다. 그래서 아마도 그것은 아직 완전히 발전된 종 분화 과학이 아닌 것 같습니다. 또한 특정 컨텍스트에서 그러한 종 분화가 가치 있으려면 충분히 저렴해야만 합니다.
사라 궈: 당신이 설명했던 오토리서치의 연장선에 있는 오픈 그라운드(open ground)에 대해 질문해도 될까요? 당신은 "우리에겐 이 기술이 있고, 근본적으로 사람들이 연구 전반에 기여할 수 있도록 이를 둘러싼 더 많은 협업 표면(collaboration surface)이 필요하다"라고 하셨죠. 그것에 대해 말씀해주실 수 있나요?
안드레 카파시: 네, 오토리서치는 "루프 안에서 이것저것 시도해 볼 거야"라는 단일 스레드를 가지고 있다고 얘기했습니다. 하지만 근본적으로 이것의 병렬화가 가장 흥미로운 요소입니다. 그리고 몇 가지 아이디어를 가지고 놀아보려 했지만, 아직 제가 완전히 만족할 만큼 깔끔하게 딱 맞아떨어지는 건 찾지 못했습니다. 하지만 클로 작업을 하지 않을 때 부업으로 작업하고 있는 것이긴 합니다.
문제 중 하나는, 만약 당신이 활용할 수 있는 병렬화 노드 무리를 가지고 있다면, 여러 오토리서처들이 공통 시스템을 통해 대화하도록 만드는 것은 매우 쉽다는 점입니다. 제가 더 관심 있었던 부분은 어떻게 인터넷상의 신뢰할 수 없는(untrusted) 작업자 풀(pool)을 보유할 수 있느냐는 것이었습니다. 예를 들어 오토리서치에서 당신은 검증 손실(validation loss)을 아주 낮게 훈련시키는 코드 조각을 찾으려고 노력할 뿐입니다. 누군가가 후보 커밋(commit)을 제공한다면, 그 커밋이 좋은지 검증하는 것은 매우 쉽습니다. 인터넷상의 누군가가 이 코드 조각이 훨씬 더 최적화를 잘하고 더 나은 성능을 줄 거라고 주장할 수 있습니다. 당신은 그냥 확인만 하면 됩니다. 아주 쉽죠.
하지만 그 확인을 위해 엄청난 양의 작업이 들어갈 겁니다. 하지만 근본적으로 그들이 거짓말을 할 수도 있는 등 여러 문제가 있죠. 그래서 기본적으로 비슷한 문제에 직면하게 되는데, 신뢰할 수 없는 작업자 풀을 포함하는 저의 설계는 사실 블록체인과 조금 더 닮아 있습니다. 왜냐하면 블록 대신 커밋을 사용하고, 이 커밋들이 서로의 위에 쌓이며 코드를 개선함에 따라 변경 사항을 포함하기 때문입니다. 그리고 작업 증명(proof of work)은 작동하는 커밋을 찾기 위해 수많은 실험을 하는 것인데, 그게 어렵습니다. 그리고 보상은 당장으로서는 그냥 리더보드에 오르는 것뿐입니다. 어떠한 금전적 보상도 없죠. 비유를 너무 멀리 끌고 가고 싶진 않지만, 후보 솔루션이 실제로 좋은지 검증하는 것은 매우 저렴한 반면 그것을 찾아내는 데는 엄청난 양의 검색이 들어간다는 근본적인 문제가 있습니다. 누군가는 만 개의 아이디어를 시도해 봐야 했겠지만, 당신은 단지 그들이 만들어낸 결과물이 실제로 작동하는지만 확인하면 됩니다. 나머지 99,000개는 작동하지 않았으니까요.
그래서 핵심만 요약하자면, 신뢰할 수 없는 작업자 풀이 검증을 수행하는 신뢰할 수 있는 작업자 풀과 협업할 수 있는 시스템을 고안해야 하며, 전체 시스템이 비동기적으로 원활하게 작동해야 합니다. 그리고 보안 관점에서도 안전해야 합니다. 누군가 임의의 코드를 보내고 그걸 실행하게 된다면 그건 매우 의심스럽고 위험하니까요. 하지만 근본적으로 이는 완전히 가능해야 합니다. SETI@home이나 Folding@home[^17] 같은 프로젝트에 대해 잘 아실 텐데, 이 모든 문제가 비슷한 구조를 가지고 있습니다. Folding@home은 단백질 구조를 접는 것인데 에너지가 낮은 형태를 찾기는 매우 어렵지만, 누군가 에너지가 낮다고 평가된 형태를 찾아내면 완벽하게 그냥 사용할 수 있습니다. 매우 쉽게 검증할 수 있죠. 그래서 많은 문제들이 도출해내기는 매우 비싸지만 검증하기는 매우 저렴하다는 이런 특성을 가지고 있습니다. Folding@home이나 SETI@home, 혹은 AutoResearch@home 같은 것들이 좋은 사례가 될 것입니다.
요약하자면, 인터넷상의 에이전트 스웜(swarm, 무리)이 협업하여 LLM을 개선할 수 있고, 잠재적으로 프론티어 랩들보다 훨씬 뛰어난 성과를 낼 수도 있다는 것입니다. 누가 알겠어요? 네, 그럴 가능성도 충분합니다. 프론티어 랩들은 신뢰할 수 있는 엄청난 양의 컴퓨팅 파워를 가지고 있지만, 지구는 훨씬 더 크고 신뢰할 수 없는 엄청난 양의 컴퓨팅 파워를 가지고 있습니다. 이런 문제를 다루는 시스템을 적절히 갖춘다면, 외부의 스웜이 더 나은 솔루션을 찾아내고 사람들이 자신이 관심 있는 문제에 그저 사이클을 기여하는 것이 가능할지도 모릅니다. 마지막으로, 수많은 기업 등에서 각자 관심 있는 분야를 가질 수 있고, 만약 컴퓨팅 용량이 있다면 특정 오토리서치 트랙에 기여할 수 있을 것입니다. 예를 들어 특정 암 연구에 관심이 있다면 굳이 기관에 돈을 기부할 필요 없이 직접 컴퓨팅 파워를 구매해 해당 프로젝트의 오토리서치 스웜에 합류할 수 있는 거죠. 모든 것이 오토리서처로 통합된다면, 컴퓨팅 파워가 곧 당신이 풀(pool)에 기여하는 핵심 자산이 됩니다.
사라 궈: 그건 매우 영감을 주면서도 흥미롭네요. 이것이 어디까지 갈지는 모르겠지만, 최소한 실리콘밸리에 있는 사람들이나 중국 소매점 앞에 줄을 서는 사람들이 개인용 컴퓨팅 파워에 접근하는 것이 다시 흥미로워졌다는 사실을 발견한 것은 흥미롭습니다. 그렇죠? 그래서 아마도 그들이 대의를 위해 그렇게 할 강한 동기를 가지게 되고, 그 결과 오토리서치에 기여할 수도 있겠죠. 모두가 달러(돈)를 중요하게 생각하는 것 같지만, 미래에는 플롭스(flops)가 실제로 모두가 가장 중요하게 생각하는 기준이 될까요? 내가 중요하게 여기는 가치의 기준에 어떤 역전(flippening) 현상 같은 것이 일어날까요? 예를 들어 지금 당장은 돈이 있어도 컴퓨팅 파워를 얻기가 매우 어렵습니다.
안드레 카파시: 네.
사라 궈: 그래서 실제로 어떤 의미에서는 플롭스가 지배적인 것처럼 보입니다.
안드레 카파시: 어쩌면 그런 것일 수도 있겠네요. 당신이 통제하는 부의 규모가 아니라, 당신이 통제하는 플롭스의 양이 기준이 되는 거죠. 사실 진짜 그렇게 되리라 생각하지는 않지만, 상상해 보는 것은 꽤 흥미롭습니다.
사라 궈: 당신이 가장 최근에 공개했던 것은 일자리 데이터 분석에 관한 작은 프로젝트였죠. 맞나요? 비록 단지 공공 데이터를 시각화한 것에 불과하지만, 사람들의 신경을 건드릴 수도 있는 주제입니다. 무엇이 궁금하셨나요?
안드레 카파시: 네, 저는 호기심이 생겼습니다... 모두가 AI가 일자리 시장에 미칠 영향과 미래의 모습에 대해 깊이 고민하고 있잖아요. 그래서 일자리 시장이 어떤 모습인지 한 번 살펴보고 싶었습니다. 다양한 직업들이 어디에 위치해 있고, 각 직업군에 몇 명의 사람들이 종사하고 있는가? 그리고 개별 직업 사례들을 살펴보면서, 이런 AI들의 도입과 발전이 이 직업들에 어떤 도구가 될지 제 나름대로 생각해보고 싶었습니다. 이것들이 사람들을 대체하는 도구가 될 것인가? 현재의 직업들은 무엇이며 어떻게 변할 것인가? 성장할 것인가, 크게 조정될 것인가, 아니면 새로운 직업이 생겨날 것인가? 이건 말하자면 업계에 대한 제 생각의 사슬(chain of thought)에 연료를 공급하기 위한 방법이었습니다.
그래서 사용한 일자리 데이터는 기본적으로 노동통계국(Bureau of Labor Statistics)의 자료입니다. 각 직업군이 향후 10년 동안 얼마나 성장할 것으로 예상되는지에 대한 전망치 비율이 나와 있습니다. 네, 10년 전망인 것 같은데, 2024년에 작성된 것이죠.
사라 궈: 우리는 의료 종사자가 많이 필요합니다.
안드레 카파시: 네. 그래서 그들은 이미 그런 전망을 내놓았는데, 저는 그 전망치에 어떤 방법론이 쓰였는지 100% 확신하지는 못합니다. 제가 관심을 가졌던 건 사람들의 생각에 기반해 데이터에 색깔을 입혀보는 것이었어요... 현재 주로 개발되고 있는 것이 디지털 세계에서 상호작용하고 방대한 디지털 정보를 조작할 수 있는 일종의 유령이나 영혼 같은 디지털 AI라고 한다면, 이들은 현재 물리적인 형태나 실체를 가지고 있지 않습니다. 그리고 물리적인 영역은 원자(atoms)를 조작해야 하므로 발전 속도가 다소 느릴 것입니다. 비트(bits)를 뒤집고 디지털 정보를 복사/붙여넣기 하는 능력은 물질을 가속하는 것보다 백만 배는 더 빠르니까요.
그래서 에너지 측면에서 볼 때, 우리는 디지털 공간에서 엄청난 양의 활동, 방대한 양의 코드 재작성, 끓어오르는 수프와 같은 엄청난 역동성을 보게 될 것이라고 생각합니다. 디지털 공간의 변화 속도는 물리적 세계에서 일어날 변화에 비해 빛의 속도처럼 빠를 것입니다. 그것이 바로 제 외삽이었습니다. 그래서 현재 컴퓨터와 사람들이 해왔던 수많은 디지털 정보 처리 과정의 제약이 풀리는(unhobbling) 오버행(overhang)이 존재한다고 생각합니다. 그리고 이제 AI가 디지털 정보를 조작하는 세 번째 주체로 등장하면서, 그 분야들에 대규모의 리팩토링이 일어날 것입니다. 반면 물리적 세계는 그보다 어느 정도 시간을 두고 뒤처져 따라갈 것입니다.
그래서 제가 정말 매력을 느꼈던 부분은... 제가 디지털 정보를 근본적으로 조작하는 직업군을 강조했던 이유가 바로 그 때문입니다. 이건 집에서도 할 수 있는 일이고, 이런 직업들에 변화가 생길 거라 생각하기 때문입니다. 그렇다고 해서 그런 일자리가 줄어들거나 늘어난다는 의미는 아닙니다. 그건 수요 탄력성이나 다른 여러 요인과 관련된 문제니까요. 하지만 이러한 새로운 도구들과, 생각하자면 일종의 '인류 초유기체 신경망의 업그레이드'로 인해 이 직업들에 변화가 생길 것입니다.
사라 궈: 데이터를 살펴본 결과, 직업 시장을 직면한 사람들이나 지금 무엇을 공부해야 할지, 어떤 스킬을 개발해야 할지 고민하는 사람들을 위한 관찰이나 조언이 있으신가요? 제 말은, 우리는 모두 가서... 전 제 직업을 위해 사람들을 만나야 한다는 사실에 매우 감사하고 있습니다.
안드레 카파시: 좀 더 육체적인 일을 찾아야 할 수도 있겠네요. 하지만 당신의 일도 집에서 할 수 있지 않나요?
사라 궈: 할 수는 있습니다. 인간관계 부분이 어렵긴 하지만, 대부분은 할 수 있죠.
안드레 카파시: 네. 일자리 시장은 지극히 다양하고 그에 따른 대답도 제각각일 테니, 예측하기 정말 어렵다고 생각합니다. 하지만 크게 보면 이 도구들은 극도로 새롭고 강력하므로, 우선 이 흐름에 뒤처지지 않고 따라가려 노력하는 것이 가장 중요합니다. 많은 사람이 이를 묵살하거나...
사라 궈: 아니면 두려워하죠.
안드레 카파시: 두려워하기도 합니다. 물론 충분히 이해할 수 있는 반응입니다. 현재로서는 근본적으로 사람에게 힘을 실어주는(empowering) 도구이며, 직업이란 결국 과제(tasks)들의 묶음인데 그중 일부 과제는 훨씬 더 빨리 처리할 수 있게 될 것입니다. 따라서 현재는 우선적으로 이를 하나의 도구로 생각해야 합니다. 장기적으로 어떤 모습일지는 불확실합니다. 솔직히 예측하기 정말 어렵습니다. 저는 전문적으로 그런 예측을 하는 사람도 아니고, 이런 일은 경제학자들이 제대로 분석해야 할 영역이라고 봅니다.
사라 궈: 하지만 당신은 엔지니어이고, 제가 흥미롭게 생각한 부분 중 하나는 엔지니어링 일자리에 대한 수요가 계속해서 증가하고 있다는 점입니다. 네. 저는 그게 일시적인 현상인지 잘 모르겠습니다. 아직 어떻게 생각해야 할지 모르겠어요. 당신은 아시나요?
안드레 카파시: 네, 그것은 마치 수요 탄력성 같은 것입니다. 과거에는 소프트웨어가 희소했잖아요? 소프트웨어 수요가 더 늘어나지 않았던 이유는 단지 희소성 때문이었고 가격이 너무 비쌌기 때문입니다.
사라 궈: 너무 비쌌죠, 맞아요.
안드레 카파시: 그런데 그 장벽이 무너지면, 사실 제본스의 역설(Jevons paradox)[^18]이 발생하게 됩니다. 소프트웨어가 저렴해지고 더 강력해지면서 소프트웨어에 대한 수요가 오히려 증가하는 것이죠.
사라 궈: 더 강력해지죠, 네.
안드레 카파시: 이 현상의 고전적인 예로 항상 거론되는 것이 ATM과 은행 창구 직원입니다. ATM과 컴퓨터가 창구 직원을 대체할 것이라는 두려움이 컸었죠. 하지만 실제로 일어난 일은 은행 지점의 운영 비용이 훨씬 저렴해지면서 지점 수가 늘어났고, 그에 따라 창구 직원의 수도 늘어났습니다. 사람들이 자주 인용하는 전형적인 사례죠. 기본적으로 무언가가 저렴해지면 그로 인해 억눌려 있던 엄청난 수요가 풀려난다는 제본스의 역설입니다.
그래서 저는 소프트웨어 엔지니어링 분야에서도 이런 현상이 일어날 것이라 어느 정도 조심스럽게 낙관하고 있습니다. 소프트웨어에 대한 수요가 극도로 커질 것이고, 가격은 방금 훨씬 저렴해진 것뿐이니까요. 그래서 당분간은 예측하기 매우 어렵겠지만, 적어도 국지적으로는 소프트웨어에 대한 수요가 더 많아질 것이라고 봅니다. 왜냐하면 소프트웨어는 놀라우니까요. 디지털 정보 처리에 있어, 여러모로 불완전한 상태로 주어진 임의의 도구들을 억지로 사용할 필요가 없어졌습니다. 이미 존재하는 것에 얽매일 필요 없이, 이제 코드는 일시적(ephemeral)이며 언제든 변경되고 수정될 수 있습니다. 그래서 디지털 공간에서는 모든 것을 어떤 의미에서 다시 연결(rewire)하는 엄청난 활동이 일어날 것이고, 이로 인해 이 분야에 엄청난 수요가 창출될 것이라 생각합니다.
장기적으로 볼 때, 확실히 오토리서치를 포함해 생각해보면 OpenAI나 Anthropic 등 다른 연구소들이 현재 1,000명 이상의 연구원을 고용하고 있잖아요? 이 연구원들은 기본적으로 과장되게 말하면 스스로를 적극적으로 자동화하여 없애버리는 오토 에이전트와 같습니다. 그리고 이게 그들 모두가 달성하려 노력하는 바죠.
사라 궈: 그 연구원들 중 일부도 그 '정신병'을 느끼고 있죠? 실제로 작동한다는 걸 아니까요. 그렇죠? 그래서 그들은 "아, 내 일자리도 끝났구나"라고 생각하는 거죠.
안드레 카파시: 제가 OpenAI를 돌아다니며 많은 시간을 보냈는데, 그들에게 "우리 프로젝트가 성공하면 우린 다 직업을 잃게 된다는 거 알아?"라고 말하곤 했습니다. 우리는 그냥 샘(Sam Altman)이나 이사회를 위해 자동화를 구축하고 있는 것일 뿐이니까요. 그러니까, 이사회나 CEO를 위해 이 자동화 시스템을 완성하고 있는 셈이죠. 그러면 우리는 모두 일자리를 잃고 어쩌면 부업으로나 기여하게 될지도 모릅니다. 그래서 그런 관점에서 보면 상당히 불안하긴 합니다.
사라 궈: 노암(Noam)[^19]의 질문을 당신에게 해봐도 될까요? 당신도 그 일을 할 수 있었잖아요, 그렇죠? 엄청난 규모의 컴퓨팅 파워를 가지고 프론티어 랩 중 한 곳에서 여러 동료와 함께 오토리서치를 진행할 수도 있었을 텐데요. 왜 그렇게 하지 않으셨나요?
안드레 카파시: 글쎄요, 저는 한동안 그곳에 있었잖아요? 다시 합류하기도 했었고요. 어느 정도 동의합니다. 이 질문을 분석할 방법은 많고, 약간은 유도 신문 같은 면이 있죠. 다만 저는 사람들이 프론티어 랩 밖에서도 충분히 기여하고 좋은 영향을 미칠 수 있다고 확신합니다. 단순히 산업 내부뿐만 아니라 생태계 수준의 역할에서도 말이죠. 예를 들어 당신의 역할도 생태계 수준에 가깝습니다. 현재 제 역할 역시 생태계 수준에 가깝고, 저는 사람들이 이런 종류의 역할에서 가질 수 있는 영향력에 대해 매우 긍정적으로 생각합니다.
반대로 프론티어 랩과 자신을 너무 강하게 일치시키는 것에는 제 마음속에 분명한 문제점들이 존재한다고 생각합니다. 근본적으로 당신은 프론티어 랩과 엄청난 재정적 이해관계를 맺고 있으며, 당신 스스로 인정한 바에 따르면 AI는 인류와 사회를 매우 극적으로 변화시킬 것입니다. 그런데 당신은 여기서 기본적으로 이 기술을 구축하고 그로부터 이익을 얻으며 재정적 수단을 통해 그 기술과 매우 밀접하게 결탁되어 있습니다. 이것이 바로 초창기 OpenAI가 시작될 때 직면했던 난제의 핵심이었습니다. 이것이 우리가 해결하려 했던 딜레마였죠. 그래서, 아시다시피 그것은... 여전히 해결되지 않았습니다. 그 딜레마는 여전히 완전히 해결되지 않았습니다. 그게 첫 번째입니다.
당신은 완전히 자유로운 주체가 아니며, 프론티어 랩 내부에 있다면 전적으로 자율적이고 자유로운 방식으로 그 대화에 참여할 수 없습니다. 당신이 말할 수 없는 것들이 있고, 반대로 조직이 당신이 말해주기를 바라는 것들이 있습니다. 그들이 당신의 팔을 비틀어 강요하진 않겠지만, 당신은 무엇을 말해야 할지에 대한 압박을 느끼게 됩니다, 아시죠? 왜냐하면 그렇지 않으면 정말 어색한 대화가 오가거나, "너 지금 뭐 하는 거야?"라는 이상한 눈초리를 받게 될 테니까요. 그러니까 당신은 정말로 독립적인 에이전트가 될 수 없는 겁니다. 저는 프론티어 랩 외부에 있을 때 어떤 의미에서 인류와 조금 더 방향을 같이 한다(aligned)고 느낍니다. 왜냐하면 그런 압박을 거의 받지 않으니까요. 그리고 제가 원하는 대로 말할 수 있죠...
네, 프론티어 랩 내부에서도 물론 영향력을 가질 수 있다고 말하고 싶습니다. 수많은 연구자가 있고, 당신도 그중 한 명일 수 있으며, 당신의 아이디어가 정말 훌륭할 수도 있습니다. 또한, 결정해야 할 중요한 사안들이 많고, 그런 대화가 오갈 때 당신은 그 방에 함께 있기를 원할 것입니다. 현재로서는 위험 부담(stakes)이 전반적으로 꽤 낮은 편이라 모든 게 꽤 좋아 보이지만, 궁극적으로 위험 부담이 정말 높아졌을 때 조직의 직원으로서 조직이 무엇을 할지에 대해 당신이 얼마나 큰 결정권을 가질 수 있을지는 솔직히 잘 모르겠습니다. 근본적으로 결국 당신은 진정으로 통제권을 쥔 사람이 아닙니다. 방에 함께 앉아 아이디어를 내고는 있지만, 당신이 속한 그 조직을 실제로 책임지는 사람은 아니니까요. 그래서 그런 것들이 어느 정도 이해관계 불일치(misalignment)의 원인이 된다고 생각합니다.
한편으로는 다음과 같은 의견에도 매우 동의합니다. 좋든 싫든 연구소들은 불투명하고 수많은 작업이 그곳에서 이루어지고 있으며, 그들은 기술의 한계와 가능한 것들의 최전선에 서 있고 앞으로 다가올 일들에 대해 작업하고 있습니다. 만약 당신이 그 프론티어 랩 밖에 있다면, 다가올 일들에 동참하지 못하기 때문에 당신의 판단력은 근본적으로 표류하기 시작할 것입니다. 맞습니다. 그래서 제 판단력 또한 필연적으로 표류하기 시작할 거라 느낍니다. 이 시스템들이 내부에서 실제로 어떻게 작동하는지 이해하지 못하게 될 테니까요. 그건 불투명한 시스템입니다. 어떻게 발전할지 등에 대한 좋은 이해를 가지지 못하겠죠. 그래서 그런 점에서는 동의하며, 제가 불안해하는 부분이기도 합니다. 실제로 무슨 일이 일어나고 있는지 계속 접촉하고 프론티어 랩에 소속되는 것은 가치 있는 일이라 생각합니다. 만약 일부 프론티어 랩이 저를 일정 기간 부르고 제가 그들을 위해 정말 좋은 연구를 한 다음, 다시 나왔다 들어갔다 할 수 있다면...
사라 궈: 여러분, 이 분 지금 일자리 구하고 계십니다. 이거 정말 흥미진진한데요.
안드레 카파시: 그러면 그게 꽤 좋은 설정이 될 것 같습니다. 실제로 일어나는 일과 연결되어 있으면서도 동시에 해당 기관에 완전히 통제받는다고 느끼지 않을 수 있는 방법일 테니까요. 솔직히 제 생각에 노암은 OpenAI에서 엄청나게 좋은 연구를 해낼 테지만, 그의 가장 영향력 있는 작업은 OpenAI 외부에서 이루어질 가능성도 높다고 봅니다.
사라 궈: 노암, 이건 오토리서치를 활용해 독립 연구자가 되라는 부름(call)이네요.
안드레 카파시: 네, 외부에서도 할 수 있는 일이 많고... 궁극적으로 이상적인 해결책은 아마도 양쪽을 오가는 것이 아닐까 싶습니다. 두 곳 모두에서 정말 놀라운 영향을 미칠 수 있다고 확신하니까요. 매우 복잡하네요. 조금 유도 신문 같은 질문이었지만, 저는 프론티어 랩에 합류했다가 지금은 나와 있고, 나중에 다시 합류하고 싶어질 수도 있습니다. 저는 이런 식으로 상황을 바라보고 있습니다.
사라 궈: 세상이나 AI 생태계가 프론티어 기술을 얼마나 들여다볼 수 있는지에 관한 질문 중 하나는, 오픈 소스가 프론티어에 얼마나 근접해 있으며 그것이 얼마나 지속 가능한가 하는 점입니다. 소수의 중국 모델들과 글로벌 모델들이 등장하기까지의 전체 사건 전개 과정은 사실 꽤 놀라웠다고 생각합니다. 향후 단기적으로도 업계의 예상보다 역량 면에서 프론티어에 훨씬 더 근접한 오픈 소스 모델들이 계속 출시될 것이라 봅니다. 당신도 그 점이 놀라운지 모르겠네요. 당신은 오픈 소스에 오랫동안 기여해 온 분이잖아요. 이 상황에 대한 당신의 예측은 무엇인가요?
안드레 카파시: 대략적으로 말해 기본적으로 폐쇄형 모델들이 앞서 있지만, 사람들은 오픈 소스 모델이 몇 개월 정도 뒤처져 있는지 그 격차를 주시하고 있습니다. 처음에는 오픈 소스 모델이라 할 게 아예 없다가 격차가 18개월로 좁혀졌고 지금은... 네, 수렴 현상이 있었죠. 그렇죠? 그렇다면 최근의 격차는 어느 정도일까요? 지금은 6개월, 8개월 정도 뒤처져 있을까요? 저는 당연히 오픈 소스의 열렬한 팬입니다. 예를 들어 운영체제의 경우 Windows나 macOS 같은 폐쇄형 소스가 있습니다. 이것들은 LLM이 앞으로 될 모습과 같은 거대한 소프트웨어 프로젝트이고, 리눅스(Linux)가 존재하죠.
하지만 리눅스는 매우 쉽습니다. 실제로 리눅스는 극도로 성공적인 프로젝트입니다. 대다수 컴퓨터에서 실행되고 있죠. 제가 마지막으로 확인했을 때 60%인가가 리눅스를 실행하고 있지 않았나요? 이는 업계에서 모두가 안전하게 사용할 수 있는 공통의 개방형 플랫폼이 필요했기 때문입니다. 업계는 항상 그러한 종류의 프로젝트가 존재해야 한다는 수요를 느껴왔다고 생각합니다. 그리고 지금도 마찬가지이며, 그래서 기업들이 실제로 이를 원합니다. 이런 종류의 것이 존재해야 한다는 수요가 있습니다. 가장 큰 차이점은 모든 것이 자본... 매우 비싸다는 거죠.
사라 궈: 네, 자본 지출(CapEx)이 투입된다는 점입니다.
안드레 카파시: 그래서 그 지점에서 상황이 약간 어긋나며 어떤 의미에서는 경쟁하기가 더 어려워집니다. 현재 모델들이 매우 우수하다고는 생각합니다. 또 하나 정말 흥미로운 점은, 대다수의 소비자 사용 사례 등에 대해서는 현재의 오픈 소스 모델조차도 사실 꽤 훌륭하다는 것입니다. 그리고 앞으로 몇 년이 더 지나면 엄청나게 많은 단순 사용 사례들은 잘 커버될 것이고, 심지어 로컬 환경에서 실행될 것이라 봅니다.
하지만 프론티어 지능에 대한 수요는 항상 존재할 것이고, 그것이 파이의 극도로 큰 부분을 차지할 수 있습니다. 그러나 프론티어 지능에 대한 수요는 노벨상 수준의 연구나 리눅스를 C언어에서 Rust로 변환하는 등 그런 규모의 더 큰 프로젝트를 위한 것이 될 수 있습니다. 어쩌면 폐쇄형 프론티어 지능이 주로 다루는 영역이 그런 곳이 될 것이고, 오픈 소스는 좀 더 기본적인 사용 사례의 상당 부분을 점유하게 될 것입니다. 어느 시점에는 오늘 프론티어로 여겨지는 것들이 아마 올해 말쯤에는... 제가 지금 폐쇄형 연구소에서 프론티어라고 부르며 사용하고 있는 기능들이 오픈 소스가 될 수도 있고, 그 오픈 소스가 많은 일을 처리하게 될 것입니다. 그래서 저는 이 역학 관계가 기본적으로 계속 유지될 것이라 기대합니다.
이런 오라클과 같은 폐쇄형 AI를 보유한 프론티어 랩들이 존재하고, 그보다 몇 달 뒤처진 오픈 소스가 존재하는 이 구도가 계속될 것 같습니다. 그리고 저는 사실 그게 전반적으로 꽤 훌륭한 설정이라 생각합니다. 폐쇄적인 지능만 단독으로 존재하는 상황에는 몇 가지 시스템적 리스크가 수반된다고 생각합니다. 중앙집중화는 제 관점에서 볼 때 과거의 실적이 매우 좋지 않습니다...
사라 궈: 정치적이나 경제적 시스템에서 말이죠. 일반적으로 그렇다는 건가요?
안드레 카파시: 네. 정확합니다.
사라 궈: 전형적인 동유럽 사람처럼 말씀하시네요, 네.
안드레 카파시: 과거에 매우 안 좋은 선례들이 많았다고 봅니다. 안 좋은 선례가 많았기 때문에, 새롭고 미개척된 영역이라 역량의 최첨단에는 있지 않더라도, 뒤처져 있으면서도 업계 전체가 접근할 수 있는 지능을 위한 일종의 공통 작업 공간 같은 것이 존재했으면 합니다. 네, 그건 업계를 위해 꽤 괜찮은 힘의 균형처럼 보이네요.
사라 궈: 또한 해결해야 할 문제가 매우 많기도 합니다. 그렇죠? 프론티어 랩에서 지능을 계속 발전시킨다면 우리는 새로운 일들을 해낼 수 있고, 인류를 위한 매우 큰 문제들이 많이 산적해 있습니다. 그렇죠? 그래서 계속해서 발전해 나가는 것은 앞으로도 매우 비용이 많이 드는 게임이 될 것이며, 저는 프론티어 랩들이 그런 일을 해내기를 응원합니다. 매우 값비싼 방식으로 모델을 계속 발전시키지 않고서는 해결할 수 없는 문제들이 있으니까요. 그럼에도 당신이 지적했듯, 만약 오늘날 프론티어라고 불리는 것들이 오픈 소스로 풀린다면 그것만으로도 엄청난 역량입니다. 그렇죠? 그래서 그것이 지닌 힘, 혹은 그것의 민주화는 매우 유용하고 또한 건강한 생태계를 위해 바람직하다고 생각합니다.
안드레 카파시: 기본적으로 우리는 우연히도 꽤 괜찮은 지점에 도달해 있다고 봅니다. 우연히도 어떤 의미에서는 꽤 좋은 위치에 서 있게 된 거죠.
사라 궈: 어느 정도는 이 역학 관계가 오래 지속될수록 생태계는 더 건강해질 것입니다. 그렇죠? 접근 가능한 역량의 저변(area under the curve)이 점점 더 커지니까요.
안드레 카파시: 네, 맞아요. 그리고 폐쇄형 진영에 대해서도 한마디 하자면, 최근 들어 훨씬 더 중앙집중화되고 있다고 느낍니다. 왜냐하면 선두 주자들이 반드시 최고의 티어인 것만은 아니기 때문입니다. 그래서 그런 의미에서는 이게 아주 이상적이지만은 않다고 봅니다. 저는 프론티어 랩이 더 많아졌으면 좋겠습니다. 저는 기본적으로 너무 적은 수의... 방 안에 결정권자가 더 많았으면 합니다. 머신러닝에서 앙상블 기법이 개별 모델보다 항상 더 나은 성과를 낸다는 것을 기억해야 합니다. 그래서 저는 가장 어려운 문제들에 대해 함께 고민하는 사람들의 앙상블이 있었으면 하고, 그들이 잘 알고 올바른 결정을 내릴 수 있도록 방 안에 앙상블 그룹이 존재하길 바랍니다. 단 두세 명만 닫힌 문 뒤에 있는 것을 원치 않습니다. 그건 좋은 미래가 아니라고 느낍니다. 핵심은, 연구소가 더 많았으면 좋겠다는 것입니다. 상호 경쟁할 수 있게요. 그리고 오픈 소스도 그 안에서 역할을 할 수 있다고 생각합니다. 오픈 소스가 계속 살아남기를 바라며, 현재 약간 뒤처져 있는 것 자체가 사실 좋은 일이라고 생각합니다.
사라 궈: 당신은 자동차 분야에서 범용 로보틱스 자율 주행의 초기 모델을 개발하셨었죠? 최근 몇 달간 로보틱스 기업들에서도 많은 일이 일어나고 있습니다. 환경, 작업에 대한 극적인 일반화가 가속화되고, 긴 범위(long horizon)의 작업 능력이 향상되며, 이 분야로 막대한 자금이 유입되고 있습니다. 이게 실현될까요? 최근 당신의 시각에 변화가 있었나요?
안드레 카파시: 제 시각은 제가 자율주행 분야에서 보았던 것에 기반하고 있으며, 저는 자율주행이 최초의 로보틱스 애플리케이션이라 생각합니다. 제가 10년 전에 봤을 때는 스타트업이 그리 많지 않았습니다. 그리고 저는 기본적으로 그들 중 대부분이 장기적으로 살아남지 못했다고 느낍니다. 제가 목격한 것은 막대한 자본 지출이 들어가야 하고 엄청난 시간이 소요된다는 점이었습니다. 그래서 로보틱스는 너무 어렵고 혼란스러우며 거대한 자본 투자와 큰 확신을 필요로 하기 때문에, 그건 정말 큰 문제이고 원자(atoms)를 다루는 것은 정말 어렵다고 생각합니다. 그래서 디지털 공간에서 일어날 변화보다는 로보틱스의 발전이 꽤 뒤처질 것이라 느낍니다.
디지털 공간에서는 거대한 '제약 해제(unhobbling)'가 일어날 것입니다. 비트는 훨씬 다루기 쉬우므로 효율적이지 않았던 것들이 백 배는 더 효율적으로 변할 것입니다. 그래서 현재 어떤 변화가 일어날지, 활동의 중심이 어디에 있는지 묻는다면, 디지털 공간이 거대한 변화를 겪고 물리적 공간은 그 뒤를 따를 것이라 생각합니다. 그리고 제가 매우 흥미롭게 생각하는 것은 그 둘 사이의 인터페이스입니다. 인간을 대신해 행동하는 에이전트가 늘어나고, 에이전트끼리 서로 대화하며 작업을 수행하고 이러한 에이전트 경제에 참여하게 된다면, 순수하게 디지털 공간에서만 할 수 있는 일은 언젠가 바닥이 날 것이기 때문입니다.
어느 시점에는 우주로 나가서 질문을 던져야 합니다. 실험을 실행하고 우주가 무엇을 말해주는지 확인한 뒤 돌아와서 무언가를 배워야 합니다. 현재 우리가 엄청난 양의 디지털 작업을 가지고 있는 이유는, 이미 디지털화된 정보에 대해 인류가 집단적으로 사고해 온 결과물, 즉 오버행(잉여 잠재력)이 존재하기 때문입니다. 즉, 이미 디지털화되어 업로드된 모든 정보에 대해 생각할 수 있는 인류의 사고 사이클(thinking cycles)이 충분하지 않았던 겁니다. 그래서 이미 업로드된 정보를 처리하는 일도 언젠가는 바닥나기 시작할 것입니다. 어느 시점이 되면 모든 논문을 읽고 처리해서 무엇을 시도할지에 대한 아이디어를 갖게 될 것입니다. 하지만 모델에게 접근 가능한 정보만 가지고 완전히 폐쇄된 지능을 어느 정도까지 도출할 수 있을지는 사실 잘 모르겠습니다.
그래서 제가 예상하는 바는, 먼저 엄청난 양의 '제약 해제'가 일어날 것이고, 거기에는 엄청난 양의 작업이 수반될 것입니다. 그다음에는 실제로 물리적 세계와 디지털 세계 사이의 인터페이스로 초점이 옮겨갈 것입니다. 세상을 보는 센서와 세상에 어떤 조작을 가하는 액추에이터 말입니다. 따라서 저는 많은 흥미로운 기업들이 이 인터페이스에서 나올 것이라고 생각합니다. 초지능에게 어떤 의미에서 데이터를 먹이고, 실제로 데이터를 꺼내 초지능의 명령에 따라 물리적 세계를 조작할 수 있는가 하는 지점 말이죠. 그리고 물리적 세계는 일의 양이나 다른 면에서 볼 때 디지털 공간에서 일어나는 것보다 어쩌면 훨씬 더 큰 거대한 잠재 시장을 가지고 있다고 느낍니다. 그래서 사실 이것이 훨씬 더 큰 기회라고 생각합니다. 하지만 저는 그것이 엄청난 양의 작업이라고 느끼며, 제 생각에 원자를 다루는 것은 백만 배는 더 어렵습니다. 그래서 물리적 세계의 변화는 뒤처지겠지만, 동시에 시장 규모는 조금 더 크다고 생각합니다. 그래서 기회들도 그런 궤적을 따를 것 같습니다. 현재로서는 디지털이 저의 주요 관심사입니다. 그다음이 인터페이스가 될 것이고, 물리적인 것들은 때가 되면 엄청나게 큰 기회가 될 것입니다.
사라 궈: 그것을 바라보는 참 흥미로운 틀이네요. 왜냐하면 제가 지금 작업하고 있는 건 아니지만 어떤 것들은 원자의 세계에서도 훨씬 더 쉽기 때문입니다. 그렇죠? 예를 들어 물리적 세계를 읽고 쓰는 것만 생각해보면, 센서나 카메라처럼 이미 존재하는 하드웨어가 많습니다. 단지 조금만 영리하게 활용해도 에이전트의 기능을 풍부하게 만들거나 새로운 데이터를 많이 캡처할 수 있다고 상상할 수 있죠. 반드시 많은 투자를 하지 않고도 가치 있는 것을 얻을 수 있습니다.
안드레 카파시: 제가 본 이런 사례를 들자면, 제 친구 리암(Liam Fedus)[^20]이 피리오딕 랩스(Periodic Labs)라는 회사의 CEO로 일하고 있습니다. 지난주에 거길 방문했었죠. 그래서 지금 막 머릿속에 떠오르네요. 그들은 재료 과학을 위한 오토리서치를 시도하고 있습니다. 그래서 그 경우, 지능을 위한 센서는 실제로 꽤 값비싼 연구실 장비입니다. 생물학에서도 마찬가지입니다. 많은 사람이 생물학 엔지니어링에 매우 관심을 가지고 있고, 이때 사용되는 센서는 단순히 비디오카메라 이상의 것이 될 것입니다. 그리고 또 제가 본 사례로는 훈련 데이터를 얻기 위해 사람들에게 돈을 지불하는 회사들도 있습니다.
사라 궈: 네. 프로그래밍 방식으로요.
안드레 카파시: 보그(Borg)에게 데이터를 먹이기 위해서죠. 그래서 이런 것들이 어떤 의미에서는 모두 센서의 예라고 할 수 있습니다. 이해되시겠지만, 센서는 매우 다양하고 여러 형태를 띨 수 있습니다. 그래서 저는 물리적 세계의 작업을 요청하고 거기에 가격을 매길 수 있는 시점이 오기를 기대하고 있습니다.
사라 궈: 에이전트에게 "어떻게 할지는 네가 알아서 해. 가서 데이터를 가져와"라고 말하는 거죠.
안드레 카파시: 저는 왜 아직 정보 시장이 충분하지 않은지 사실 좀 놀랐습니다. 예를 들어, 폴리마켓이나 다른 베팅 시장, 심지어 주식 시장조차도 자율적인 활동이 넘쳐나고 그 활동량이 증가하고 있는데, 가령 이란에서 막 무슨 일이 벌어졌다고 할 때, 테헤란 어딘가에서 사진이나 비디오를 찍어 보내는 데 10달러를 지급하는 프로세스가 왜 없을까요? 누군가는 그에 대한 대가를 지불할 수 있어야 하잖아요, 그렇죠? 그리고 그게 바로 지능에 데이터를 먹이는 한 예입니다. 인간이 그걸 들여다보고 있지는 않을 겁니다. 베팅 게임이나 주식 시장 등을 추측하고 예측하려는 에이전트들이 그 역할을 할 것입니다. 그래서 에이전트 중심의 웹은 아직 초기 단계이고 이런 메커니즘이 없다고 생각하지만, 이것이 앞으로 일어날 수 있는 일의 한 예입니다.
영감을 줄 만한 좋은 책으로 《데몬(Daemon)》[^21]이라는 책이 있습니다. 읽어보셨을지도 모르겠네요. 《데몬》에서는 지능이 어떤 의미에서 인류를 꼭두각시처럼 조종하게 됩니다. 인간은 그것의 액추에이터이자 동시에 센서가 되는 것이죠. 그래서 저는 사회 전체가 어떤 특정한 방식으로 재편되어 그런 기계의 요구에 부응하게 될 것이라 생각합니다... 결과적으로 업계 전반에 걸쳐 그런 일이 일어나게 되어 자동화가 훨씬 더 많아질 것이며, 기계는 특정 요구를 가지게 되고 인간은 서로를 위해서가 아니라 기계의 요구에 부응하는 일을 하게 될 것입니다.
사라 궈: 우리가 누락된 훈련 데이터라는 아주 구체적인 지점에 대해 이야기하고 있었는데, 우리에게는 오토리서치 같은 것이 필요했잖아요? 모델의 퀄리티를 새로운 데이터로 개선하는, 지도 학습(SFT) 주기나 과정을 훨씬 더 기계화해야 할 필요성이 있죠. 데이터 수집을 위해 인간을 배제하고, 단순히 "새로운 데이터로 모델 퀄리티를 개선해라"는 과제를 요청하려면 말이죠. 이 말이 이해되시나요? 만약 모델이 스스로 훈련 과정을 수행할 수 없다면, 데이터에 가격을 매겨 폐쇄 루프 작업으로 이를 수행하는 능력은 훨씬 더 어려워질 것입니다.
안드레 카파시: 네, 100% 맞습니다.
사라 궈: 하지만 이제는 가능해졌네요.
안드레 카파시: 흥미로운 점은 LLM 훈련이 이 패러다임에 아주 쉽게, 완벽히 들어맞는다는 사실입니다.
사라 궈: 네, 지표가 깔끔하니까요.
안드레 카파시: 네, 모든 코드를 최적화해서 더 빨리 실행되게 만드는 등 LLM 훈련은 이 패러다임에 아주 쉽고 완벽하게 부합합니다. 최적화할 수 있는 명확한 지표들도 가지고 있고요. 이러한 지표들을 바탕으로 자율적인 루프를 돌린다면, 시스템이 그 지표들에만 과적합하는 굿하트의 법칙(Goodharting)[^22] 현상이 많이 일어날 것이라고 봅니다. 하지만 그러면 시스템을 이용해 새로운 지표를 더 많이 고안해 낼 수 있고, 결국 매우 훌륭한 커버리지를 갖추게 되겠죠. 그래서 판단하기가 좀 어렵습니다. 하지만 어떤 의미에서 보면 이건 꽤 잘 들어맞는 작업입니다.
사라 궈: 끝내기 전에 당신이 진행 중인 아주 작은 사이드 프로젝트 하나에 대해 이야기하고 싶습니다. 마이크로GPT(MicroGPT)[^23] 아크(arc)에 대해 들려주세요.
안드레 카파시: 좋습니다, 마이크로GPT 말이죠. 저는 한 10년, 20년 정도 LLM을 근본적인 정수로 단순화하고 축약하는 것에 지속적으로 집착해 왔습니다. 그래서 나노GPT, 메이크모어(MakeMore), 마이크로그라드(MicroGrad) 등 이런 방향의 프로젝트를 몇 가지 진행했었죠. 마이크로GPT는 모델을 정수만 남기도록 축약하려는 제 시도의 현재 최고 수준이라 생각합니다. 왜냐하면 신경망, 특히 LLM을 훈련할 때 엄청난 양의 코드가 들어가는데, 그 모든 코드는 사실 효율성을 달성하기 위한 복잡성일 뿐이거든요. 단지 속도를 높이기 위해 필요한 겁니다.
만약 속도가 필요 없고 오직 알고리즘 자체에만 관심이 있다면, 그 알고리즘은 파이썬 200줄이면 충분하고 읽기 매우 쉽습니다. 여기에는 주석과 모든 것이 포함되어 있습니다. 왜냐하면 텍스트로 된 데이터셋이 있고, 50줄 정도 되는 신경망 아키텍처가 있으며, 포워드 패스(순전파)를 수행하고 그래디언트(기울기)를 계산하기 위한 백워드 패스(역전파)를 수행해야 하니까요. 그래디언트를 계산하는 오토그라드(autograd) 엔진은 100줄 정도면 되고, 그다음 옵티마이저가 필요한데 가장 최첨단 옵티마이저 중 하나인 Adam조차도 10줄이면 충분합니다. 그래서 이 모든 것을 훈련 루프 안에 합치면 대략 200줄 정도가 됩니다.
제게 흥미로운 점은, 보통 1년 전이거나 그 이전이었다면 제가 마이크로GPT를 내놓았을 때 사람들에게 직접 설명하고 싶어 했을 거란 사실입니다. 제가 코드를 한 줄씩 짚어가며 설명하는 비디오를 만든다거나 하는 식으로요. 실제로 그 비디오를 약간 만들어보려 했고, 작은 가이드 같은 것도 만들어보려 했습니다. 하지만 저는 이런 것들이 사실 큰 의미가 없다는 걸 깨달았습니다. 왜냐하면 이미 200줄로 너무나 단순하기 때문에 누구나 자신의 에이전트에게 이를 다양한 방식으로 설명해 달라고 요청할 수 있기 때문입니다. 그리고 에이전트들은... 저는 더 이상 사람들에게 무언가를 설명하지 않습니다. 저는 에이전트들에게 설명하고 있어요. 당신이 에이전트에게 설명할 수 있다면, 에이전트는 라우터가 되어 대상이 되는 인간의 언어와 이해 수준에 맞춰 무한한 인내심을 가지고 설명해 줄 수 있습니다.
사라 궈: 맞습니다. 만약 제가 특정 함수를 이해하지 못하겠다면, 에이전트에게 3가지 다른 방식으로 설명해 달라고 요청할 수 있죠.
안드레 카파시: 네, 정확합니다.
사라 궈: 그리고 당신으로부터 그런 개인 맞춤형 설명을 들을 수는 없겠죠.
안드레 카파시: 정확합니다. 그래서 저는 "교육이란 무엇인가?"라는 생각이 듭니다. 예전에는 가이드가 있었고, 강의가 있었고, 이런 형태들이 존재했죠. 하지만 지금은 제가 사람들에게보다 에이전트에게 무언가를 더 많이 설명하고 있는 것 같습니다. 그리고 어쩌면 저는 스킬(skills)을 고안해 내는 중일지도 모릅니다. 여기서 스킬이란 에이전트에게 무언가를 어떻게 가르쳐야 하는지 지시하는 방법일 뿐입니다. 예를 들어 누군가 마이크로GPT의 코드베이스를 이해하고 싶어 할 때, 에이전트가 어떤 순서로 사용자를 이끌어 가야 할지에 대해 제가 상상하는 과정을 마이크로GPT를 위한 '스킬'로 만들어 둘 수 있습니다. 그건 모델에게 "아, 처음에는 이것부터 시작하고 그다음에는 저것으로 넘어가"라고 주는 힌트일 뿐이죠. 그래서 저는 커리큘럼을 약간의 스킬 형태인 스크립트로 짤 수 있습니다.
그래서 사람들에게 직접 무언가를 설명하는 일은 줄어들고, "에이전트가 이해했는가?"가 훨씬 중요해질 것입니다. 에이전트가 이해했다면 설명은 에이전트가 알아서 할 테니까요. 물론 아직 그 단계에 완전히 도달하진 않았습니다. 여전히 에이전트보다는 제가 조금 더 설명을 잘할 수 있을 거라 생각하거든요. 하지만 모델들이 너무나 빠르게 개선되고 있어서, 어느 정도는 제가 이길 수 없는 싸움을 하고 있다고 느낍니다.
그래서 교육은 이것에 의해 상당히 크게 재편될 것이라 생각하며, 우리가 서로에게 무언가를 가르치는 시대는 어느 정도 종말을 맞이할 것입니다. 예를 들어 코드 라이브러리 같은 것을 만들었다고 칩시다. 예전에는 당신의 라이브러리를 사용할 다른 사람들을 위해 문서를 작성해야 했습니다. 하지만 이제는 더 이상 그렇게 해서는 안 됩니다. 인간을 위한 HTML 문서 대신, 에이전트를 위한 마크다운(Markdown) 문서를 만들어야 합니다. 에이전트가 그것을 이해한다면 라이브러리의 모든 다양한 부분을 설명해 줄 수 있으니까요. 에이전트를 거치는 이러한 방향의 전환인 것이죠. 그래서 우리는 이런 현상이 훨씬 더 많이 펼쳐지는 것을 보게 될 거라 생각합니다.
사라 궈: 위대한 교사들이 모델에 따라 에이전트에게 상황을 다르게 설명해야 한다는 직관을 성공적으로 길러낼 수 있을지는 지켜봐야겠네요.
안드레 카파시: 궁극적으로, 마이크로GPT를 예로 들면 저는 에이전트에게 마이크로GPT를 작성하게 하려고 시도해 보았습니다. 저는 에이전트에게 "나의 신경망 코드를 가장 단순한 형태로 축약해 봐"라고 말했지만 에이전트는 하지 못했습니다. 마이크로GPT는 제 집착의 끝판왕입니다. 이 200줄의 코드요. 저는 이에 대해 오랜 시간 고민했고, 오랫동안 테스트해 왔습니다. 이게 바로 솔루션입니다. 저를 믿으세요, 이보다 더 단순해질 수는 없습니다. 그리고 이것이 저의 부가가치(value-add)입니다. 이 외의 다른 모든 것은 에이전트가 알아서 이해합니다. 에이전트가 스스로 이런 결과물(200줄의 코드)을 고안해 내지는 못하지만, 그것을 제시했을 때 완벽히 이해하고 왜 특정한 방식으로 작성되었는지 등을 모두 이해합니다.
그래서 저의 기여는 이 핵심적인 몇 가지 아이디어(few bits)일 뿐, 그 이후에 이어지는 교육적 과정 등 나머지 모든 것은 더 이상 제 영역이 아닙니다. 그래서 교육은 그런 방향으로 변화할지도 모릅니다. 커리큘럼이나 무언가를 더 잘 설명하는 방법 등, 당신이 강하게 옳다고 느끼는 핵심적인 요소들을 주입해야 하는 방식으로요. 에이전트가 할 수 없는 일이 이제 당신의 직업입니다. 에이전트가 할 수 있는 일이라면, 그들이 곧 당신보다 더 잘하게 될 것입니다. 그러므로 당신은 자신이 실제로 어디에 시간을 쏟고 있는지 전략적으로 생각해야 합니다.
사라 궈: 그 약간의 핵심적인 부분(few bits)들을 저희에게 공유해 주셔서 정말 감사합니다. 고마워요, 안드레.
안드레 카파시: 알겠습니다.
사라 궈: 트위터
에서 저희를 찾아주세요. 저희 얼굴을 보고 싶으시다면 유튜브 채널을 구독해 주세요. Apple Podcasts, Spotify 또는 즐겨 들으시는 팟캐스트 플랫폼에서 저희 쇼를 팔로우하세요. 그러면 매주 새로운 에피소드를 받아보실 수 있습니다. 그리고
에서 이메일 뉴스레터를 신청하시거나 모든 에피소드의 대본을 확인해 보세요.
Claude Code / Codex: Anthropic과 OpenAI에서 각각 개발한 코딩 특화 AI 모델 및 에이전트 도구입니다.
에이전트 하네스(agent harnesses): 에이전트를 실행, 제어, 평가하기 위해 감싸는 뼈대나 인터페이스 환경을 뜻합니다.
No Priors: Sarah Guo와 Elad Gil이 진행하는 AI 팟캐스트입니다.
OpenClaw: Peter Steinberger가 개발한 오픈 소스 자율 AI 에이전트로, 메시징 인터페이스 등을 통해 백그라운드에서 지속적으로 작동합니다.
피터 스타인버거(Peter Steinberger): 개발자이자 OpenClaw 프로젝트를 만든 인물로, 다수의 에이전트를 조율하는 방식으로 화제가 되었습니다.
SOUL.md 문서: 에이전트의 페르소나와 성격을 정의하기 위해 사용하는 마크다운 문서입니다.
도비(Dobby the Elf): 해리 포터 시리즈의 집요정 이름에서 따온, 카파시가 자신의 홈 오토메이션 에이전트에 붙인 이름입니다.
Qwen: 알리바바(Alibaba) 그룹이 개발한 거대 언어 모델(Vision 모델 포함)입니다.
오토리서치(AutoResearch): 안드레 카파시가 공개한 자율 머신러닝 연구 시스템으로, AI가 실험을 통해 모델 파라미터를 스스로 튜닝합니다.
nanochat: 카파시가 LLM 훈련을 실험하기 위해 구축한 초경량화된 학습 환경 및 모델입니다.
바이브 코딩(vibe coding): 명확한 문법의 코드를 직접 짜기보다는 에이전트에게 느낌이나 의도만 자연어로 전달해 코드를 짜게 하는 방식을 의미합니다.
가중치 감쇠(weight decay) 및 Adam beta: 딥러닝 모델의 최적화 알고리즘(Adam)에서 과적합을 막고 학습 속도를 조절하는 핵심 하이퍼파라미터입니다.
program.md: 오토리서치 에이전트가 어떤 방식으로 연구를 수행할지에 대한 지침을 마크다운으로 정의한 파일입니다.
들쭉날쭉함(jaggedness): 어떤 분야에서는 엄청난 지능을 보이다가도 기초적인 상식이나 추론에서는 매우 멍청한 실수를 하는 AI의 불균일한 지능 상태를 뜻합니다.
외삽(extrapolation): 제한된 데이터(여기서는 작은 모델에서의 실험)를 바탕으로 그 범위 밖의 상황(거대 모델)을 추정하는 방법입니다. (원자 농담에서의 'make up'은 '모든 것을 구성한다'와 '지어낸다'의 중의적 표현을 이용한 언어유희)
Lean: 수학적 정리를 증명하거나 소프트웨어를 검증하는 데 사용되는 프로그래밍 언어이자 정리 증명기(Theorem Prover)입니다.
SETI@home 및 Folding@home: 전 세계 수많은 일반 PC의 유휴 컴퓨팅 자원을 모아 대규모 연산이 필요한 과학 프로젝트를 수행하는 분산 컴퓨팅 시스템입니다.
제본스의 역설(Jevons paradox): 기술 발전으로 효율성이 높아져 비용이 떨어지면, 자원 사용이 줄어드는 것이 아니라 오히려 수요가 폭발해 전체 소비가 증가하는 현상입니다.
노암 브라운(Noam Brown): o1 등 OpenAI의 추론(reasoning) 모델 개발에 기여한 저명한 AI 연구원입니다.
리암 페더스(Liam Fedus): OpenAI 출신으로 최근 AI 기반 재료 과학 오토리서치 스타트업인 Periodic Labs를 창업했습니다.
데몬(Daemon): 대니얼 수아레즈(Daniel Suarez)의 공상과학 소설로, 전 세계에 퍼진 분산 프로그램이 사람들을 조종하는 내용을 담고 있습니다.
굿하트의 법칙(Goodharting / Goodhart's Law): 특정 평가 지표가 목표가 되는 순간, 그 지표는 본래의 목적을 상실하고 편법이 난무하게 된다는 원칙입니다.
마이크로GPT(MicroGPT): 안드레 카파시가 LLM 훈련의 핵심만을 200여 줄의 간결한 파이썬 코드로 압축해 만든 최소주의 신경망 훈련 프로젝트입니다.