개발 일지 005: AI 모델이 또 나와서, 또 처음부터 길들이는 중이에요
요즘 제 일상은 대충 이렇습니다. 아침에 일어나면 어느 AI 회사가 또 새 모델을 발표했다는 소식이 보이고, 점심부터 테스트를 돌리고, 밤에는 출력 결과를 보며 한숨을 쉬거나 조용히 환호하거나.
올해 AI 모델 업데이트 속도는 정말 경주 같아요. 대부분의 제품이라면 모델 교체는 설정 한 줄 바꾸면 끝나는 일일지도 모릅니다. 그런데 "AI가 자미두수를 풀이하는" 서비스에게 모델 교체는, 새 견습생을 들이는 일에 가깝습니다. 똑똑하긴 한데, 규칙은 처음부터 다시 가르쳐야 하거든요.
왜 무작정 업그레이드하면 안 되나
처음엔 저도 새 모델일수록 똑똑하니까 갈아 끼우면 리포트가 알아서 좋아질 줄 알았어요. 몇 번 테스트해 보고 나서야 알았습니다. 모델마다 "성격"이 정말 다르더라고요.
- 너무 조심스러운 모델. 뭘 물어봐도 두루뭉술하게 답해서, 읽다 보면 면책 조항 같아요. 기억에 남는 게 하나도 없습니다.
- 이야기꾼 모델. 글솜씨는 정말 좋은데, 자신만만하게 지어내기 시작합니다. 명반에 없는 별을 마치 있는 것처럼 술술 풀어내요.
- 한국어는 잘하는데 "화기"나 "삼방사정" 같은 용어만 만나면 자유 창작에 들어가는 모델.
운세 리포트에서 제일 무서운 건 두 번째 유형입니다. 일반 글이라면 "관점의 차이"로 넘어갈 수도 있지만, 명반 구조는 계산으로 정해지는 거예요. 무곡이 재백궁에 있으면 재백궁에 있는 겁니다. AI가 부처궁에 있다고 하면 그냥 틀린 거고, 해석의 여지는 없습니다.
AI의 환각을 줄이기 위해 하는 일
그래서 요즘 들인 공의 대부분은 "AI는 풀이만 하게 하고, 발명은 못 하게 하는" 데 쓰였습니다. 말로 하면 그렇게 복잡하지 않아요.
명반 계산과 풀이는 완전히 다른 일로 분리합니다. 명반 계산에는 AI가 전혀 관여하지 않아요. 별의 배치, 사화, 대운과 유년까지 전부 프로그램이 먼저 계산해서 구조화된 데이터로 AI에게 넘깁니다. AI가 받는 건 이미 완성된 명반 한 장이고, AI의 일은 그 판을 사람 말로 풀어내는 것이지 직접 명반을 짜는 게 아닙니다.
규칙을 새겨 넣고, 출력을 한 번 더 검수합니다. 어느 궁이 무엇을 관장하는지, 화기가 어디에 들면 무슨 뜻인지, 어떤 상황에서는 함부로 조언하면 안 되는지—이런 "명리 규칙"을 차곡차곡 쌓아 AI 지시문에 넣어 뒀어요. 리포트가 만들어진 뒤에는 명반에 없는 내용을 말하지 않았는지 대조하는 검수 단계가 한 층 더 있습니다. 걸리면 다시 쓰게 하고, 그래도 통과 못 하면 포인트를 환불해요. 지어낸 리포트를 그냥 내보내는 일은 없습니다.
같은 명반으로 신구 모델 맞대결을 붙입니다. 새 모델이 나올 때마다 같은 테스트 명반 묶음을 새 모델과 기존 모델에 각각 돌리고, 문단 단위로 비교합니다. 누가 정확하게 읽는지, 누가 소설을 쓰는지, "운이 움직이는 시점"을 누가 더 잘 짚는지. 이긴 모델만 실전에 올라가고, 진 쪽은 벤치에서 대기합니다.
그런데도 새 모델을 계속 쫓는 이유
그럴 가치가 있으니까요. 새 세대 모델은 명반 구조를 이해하는 힘이 눈에 띄게 좋아졌습니다. 예전 모델은 궁위를 하나씩 따로 설명하는 게 고작이었는데, 새 모델은 "이 몇 개 궁이 이어져서 하나의 이야기를 하고 있다"는 걸 제법 알아봅니다. 조언도 여러분이 실제로 물어본 것에 훨씬 가까워지고요. 게다가 모델 비용은 계속 내려가서, 같은 가격에 더 깊은 분석을 담을 수 있습니다.
그래서 당분간 이 사이클은 계속 돌아갈 거예요. 새 모델 등장 → 테스트 → 길들이기 → 맞대결 → 승격 또는 벤치. 언젠가 리포트를 다시 뽑았는데 눈에 띄게 잘 읽히고 더 정확해졌다면, 아마 그날 벤치에서 누가 승격한 겁니다.