[Neurain 개발일지] #4. 완성된 뇌의 해부도

지금 내 AI에게 질문을 던지면, 답이 나오기 전 3초 동안 이런 일이 벌어진다.

TL;DR

1) 질문은 웹이 아니라 내 문서 4,700여 개를 먼저 거친다.
2) 검색은 네 단계다. 쪼개고 넓히고, 추리고, 가리고, 근거 위에서 조합한다.
3) 답변 품질은 모델의 지능이 아니라 상에 올린 근거의 품질에서 갈린다.
4) 1화의 세 가지 배신은 전부 이 구조에서 풀렸다.

1. 오픈북 시험지를 만들어 주는 일

구조를 설명하기 전에 원리를 한 문장으로 정리하면 이렇다.

AI에게 시험을 보게 하되, 오픈북으로 보게 한다.

닫힌 책으로 시험을 보는 AI는 아는 것만 답하고, 모르면 그럴듯하게 지어낸다(이걸 환각이라고 부른다). 그런데 시험지 옆에 참고 자료를 놓아 주면 이야기가 달라진다. 자료를 보고 답하니 정확해지고, 어디서 봤는지 표시할 수 있으니 검증도 된다.

문제는 참고 자료가 4,700장이라 전부 책상에 올릴 수는 없다는 점이다. 그러니 질문마다 관련된 몇 장을 골라 상에 올려 주는 일이 필요하고, 그 고르는 과정 전체가 이 시스템의 핵심이다. 답변은 그 위에서 자동으로 따라온다.

이 관점이 잡히고 나서 우선순위가 바뀌어서, 어떤 모델을 쓸지 고민하는 시간보다 어떤 근거를 상에 올릴지 고민하는 시간이 훨씬 값지다는 걸 알게 됐다.

2. 질문 하나의 여정

"담보금 규정이 어떻게 되더라?"라고 물었다고 하자.

1단계, 쪼개고 넓힌다. 질문을 한국어 단어 단위로 분해하고 동의어 사전으로 확장한다. '담보금'이라고 물어도 '준비금'으로 정리해 둔 문서를 찾는다. 3화에서 화려한 의미 검색을 폐기하고 남긴 그 촌스러운 동의어 사전이 여기서 일한다. 사전은 계속 자라는데, 쓰다가 못 찾는 단어가 나오면 그 자리에서 단어 쌍을 추가하면 되니, 시스템이 내 어휘에 점점 맞춰진다.

2단계, 내 문서에서 후보를 추린다. 웹 검색이 아니라 폴더 안의 문서 4,700여 개를 점수 순으로 훑는 것인데, 질문 단어가 제목에 있으면 가점, 본문에 여러 번 나오면 가점, 최근 문서면 가점. 그렇게 관련 문서 후보 몇 개가 추려지니, 일반 지식이 아니라 내 기록이 1차 소스가 된다.

3단계, 근거를 가려낸다. 후보가 모였다고 다 근거가 되는 건 아니라, 같은 주제의 문서가 여럿이면 날짜와 상태를 보고 정본을 고르고 구버전으로 표시된 문서는 후보에서 빠진다. 문서끼리 내용이 어긋나면 최신 쪽을 우선하되, 어긋난다는 사실 자체를 답에 밝히게 했다. 비공개 영역의 문서는 남의 방 검색에 아예 안 걸린다.

이 단계가 제일 어려웠고, 지금도 제일 공을 들인다. 지식이 쌓일수록 위험해지는 건 없는 정보가 아니라 낡은 정보라서다. 없는 건 없다고 답하면 되지만, 반년 전에 폐기한 방침을 지금 방침인 것처럼 답하면 그건 거짓말이 된다. 저장은 쉽고 판정은 어렵다는 걸, 문서가 1,000개를 넘어가면서 확실히 배웠다.

4단계, 근거 위에서 답을 조합한다. 거름망을 통과한 문서만 상에 올리고, AI는 그 근거 위에서 내 질문에 맞는 답을 조합한다. 실제로 참고한 문서만 인용으로 달고, 일반 지식으로 빈칸을 메우지 않는다. 근거가 부족하면 부족하다고 말하게 했는데, 아는 척이 제일 위험하기 때문이다.

글로 풀면 네 단계고, 그림으로 보면 한 장이다.

실제로 돌려 보면 이런 그림이 된다. 질문을 던지면 답과 함께 "이 답의 근거: 준비금 규정 정리(6월 12일), 관련 회의 메모(7월 2일)" 같은 꼬리가 붙는다. 답이 미심쩍으면 근거 문서를 열어 확인하면 되니, AI의 기억력을 믿는 게 아니라 문서를 믿는 구조다.

이게 처음 작동한 날을 기억한다. 몇 주 전에 저장하고 까맣게 잊은 메모가 근거 목록에 딸려 나왔는데, 내가 잊은 것을 시스템이 잊지 않았다는 걸 눈으로 확인한 첫 순간이었고 그때부터 이 물건을 도구가 아니라 뇌라고 부르기 시작했다.

이 파이프라인의 성적표는 3화에서 말한 채점표로 관리한다. 최근 실측으로 질문 열 번 중 아홉 번 이상(문항 136개 기준 94~95%)은 정답 문서를 제대로 물어 온다. 다만 이건 내가 만든 문제집으로 내가 채점한 점수다. 외부 기관이 인정한 성적이 아니라는 건 분명히 해 둔다.

핵심은 '내 사정'이 기본값이라는 점이다. 같은 질문을 맨 클로드에게 던지면 일반론이 나오지만, 내 뇌를 거치면 내가 정리해 둔 규정, 내가 내린 결정, 우리 상황의 예외까지 얹힌 답이 나온다.

3. 검색이 틀렸을 때 알아채는 법

자랑만 하면 안 되니 실패담도 적어 둔다.

검색이 잘못되는 방식은 못 찾거나 엉뚱한 걸 찾거나 둘인데, 위험한 건 후자다. 못 찾으면 AI가 "관련 자료가 없다"고 하니 내가 알지만, 엉뚱한 걸 찾으면 그 엉뚱한 근거 위에서 그럴듯한 답이 나오고, 나는 그걸 믿는다.

실제로 줄바꿈이 들어간 긴 질문을 던지면 검색이 아예 안 돌던 시기가 있었다. 시스템은 조용히 검색을 건너뛰고 그냥 일반 지식으로 답했는데, 답이 그럴듯해서 나는 한동안 눈치채지 못했다. 한참 뒤에 점검하다가 발견했다. 내 뇌를 쓰고 있다고 믿었는데 실은 안 쓰고 있었다.

그래서 두 가지를 넣었다. 하나는 답변에 근거 목록을 항상 붙이는 것으로, 근거가 비어 있으면 검색이 안 돌았다는 뜻이니 눈으로 걸러진다. 다른 하나는 마감할 때 검색이 정상인지 스스로 확인하는 절차라, 저장한 것을 실제로 다시 검색해 보고 안 걸리면 알려 준다.

교훈은 이렇다. 조용한 실패가 시끄러운 실패보다 위험하다. 그리고 자기 상태를 보고하지 않는 시스템은 믿을 수 없다.

4. 뇌의 평면도

이 검색이 뒤지는 폴더 구조는 세 층과 영역들로 되어 있다.

영역은 회사 전략, 아파트 재건축, 투자, 가족, 블로그를 포함해 아홉 개인데, 서로 다른 인생 영역이 폴더 하나 안에 살면서 각자의 방을 갖고 필요할 때만 연결된다.

방 하나를 열어 보면 이런 식이다. 재건축 방에는 조합 공지와 기사 스크랩이 원본 그대로 쌓이는 수집함이 있고, 그걸 AI가 정리한 지식 문서들(면적 용어, 사업 단계, 분담금 구조)이 있고, 그 지식으로 만든 블로그 글이 산출물로 남아 있다. 방 전체가 하나의 작은 뇌처럼 돌아가고 아홉 개의 작은 뇌가 모여 하나의 큰 뇌가 된다.

방마다 문 앞에 안내문이 붙어 있다. 이 방은 무엇을 다루는 방이고, 어떤 문서가 정본이고, 무엇을 조심해야 하는지 적힌 규칙 문서다. 어떤 AI가 들어오든 그 안내문부터 읽고 일을 시작하니, 클로드가 들어와도 코덱스가 들어와도 같은 규칙으로 일한다. 2화에서 말한 '어떤 AI가 와도 같은 규칙'이 이 안내문들로 구현된다.

그리고 비공개로 표시한 방의 내용은 다른 방으로 새어 나가지 않게 막아 놨다. 가족 방의 문서가 회사 방의 검색에 걸리는 일은 없어야 하니까. 한 지붕 아래 있되 방문은 잠긴다.

두 달을 운영하며 절실해진 규칙은 따로 있는데, 원본과 정리본의 분리다. raw는 절대 안 고치고, 그래야 AI가 정리한 wiki가 틀렸을 때 돌아갈 원본이 남는다. 실제로 AI의 요약이 원문과 미묘하게 다른 걸 발견한 적이 있는데, raw에 원문이 그대로 있으니 대조해서 바로잡으면 그만이었다. 기억(wiki)은 편집되어도 증거(raw)는 편집되지 않는다.

5. 세 가지 배신, 세 가지 해결

1화에서 겪은 배신들이 이 구조에서 어떻게 풀렸는지 대응표로 정리하면 이렇다.

첫 줄부터 보자. 대화는 길어지면 잊히지만 파일은 잊히지 않으니, 중요한 내용은 대화가 끝나기 전에 파일로 내려앉고 다음 대화는 그 파일을 읽고 시작한다. 대화가 휘발성 메모리라면 폴더는 하드디스크다. 1화에서 말한 '책상 크기'의 한계도 이 구조에서는 문제가 안 된다. 책상에는 지금 필요한 서류만 올리고 나머지는 서류철에서 그때그때 꺼내 오면 되니까.

둘째 줄. 세션끼리 직접 대화할 수는 없지만, 같은 폴더를 읽고 쓰게 하면 결과적으로 연결된다. 세션이 끝날 때 오늘의 작업과 결정을 인수인계 문서로 남기고 새 세션이 그걸 읽고 시작한다. 인수인계 문서에는 사람 회사의 인수인계와 똑같은 것들이 담긴다. 어디까지 했고, 무엇이 미완이고, 다음에 뭘 해야 하고, 조심할 게 뭔지. 1화에서 내가 메모장에 모아 두고 매번 복사하던 그 설명문을 이제 시스템이 만든다. 사람이 하던 인수인계를 구조가 대신한다.

셋째 줄이 이 시스템의 존재 이유인데, 실제로 나는 클로드와 코덱스를 오가며 같은 뇌를 쓴다. 오전에 클로드에게 정리시킨 회의록을 오후에 코덱스가 이어받아 보고서로 만드니, 새 모델이 나왔다는 소식이 이제 두렵지 않고 설렌다. 좋으면 꽂으면 되니까.

6. 스위치 다섯 개

이 뇌를 조작하는 스위치는 3화에서 다이어트한 그 다섯 개뿐이다. 아침에 상태를 확인하고, 일하다가 저장하고, 쌓인 것을 지식으로 정리하고, 세션끼리 동기화하고, 하루를 마감한다. 평소에는 그냥 대화하듯 쓰다가 필요한 순간에만 스위치를 누른다. 운전으로 치면 평소에는 핸들만 잡고 있다가, 시동과 주차만 버튼으로 하는 셈이다.

스위치를 깜빡해도 큰일은 안 나는데, 저장을 잊으면 다음 마감 때 시스템이 정리 안 된 것들을 찾아서 알려 주고 마감을 잊으면 다음 날 상태 확인에서 어제가 안 닫혔다고 알려 준다. 사람의 성실함에 기대는 시스템은 오래 못 간다는 걸 아니까, 사람이 게을러도 굴러가게 만드는 데 공을 들였다.

정리하면 원리는 문장 하나로 압축된다.

지식은 내 파일에, 지능은 갈아끼운다.

이 문장 하나를 지키려고 두 달 동안 커밋 518개를 쌓았다.