실리콘밸리 개발자가 알려주는 LLM 평가 하네스 엔지니어링
프롬프트 한 줄 고쳤는데
언제부터 틀렸는지 모릅니다
어제 맞던 답이 오늘 조용히 틀립니다. 에러도, 로그도 없이. 실리콘밸리에서 AI를 개발하는 13년차 백엔드 개발자와, 배포 전에 그걸 잡아내는 도구를 라이브러리 없이 직접 만듭니다.
이 답, 정말 좋은 답일까요?
LLM은 같은 입력에도 매번 다른 답을 내놓습니다. 그럴듯함과 정확함은 다르고, 맞다/틀리다로 딱 떨어지지도 않아요. 그래서 대부분의 팀이 "눈으로 보고 괜찮으면 배포"에 머뭅니다.
LLM 평가 하네스는 AI가 내놓은 답을 사람 대신 자동으로 채점하고, 배포 전에 나빠진 부분을 잡아내는 코드 묶음입니다. 이 강의에서는 그걸 TypeScript로, 남이 만든 도구 없이 처음부터 짭니다. 채점 규칙을 만들고, 채점을 AI에게도 맡겨 보고, 그 AI가 얼마나 믿을 만한지 재고, 나빠지면 배포를 막고, 실행이 어느 단계에서 얼마나 걸렸는지까지 기록합니다.
몇 개 질문 던져 그럴듯하면 "됐다"로 넘어가는 순간, 품질은 측정되지 않은 채로 굴러갑니다. 그리고 아무도 모르는 사이에 무너집니다.
같은 출력, 다른 판단
눈대중으로 보던 걸 점수와 근거로 바꿉니다.
채점을 맡긴 AI는 몇 점입니까
재보지 않은 채점은 동전 던지기와 큰 차이가 없습니다. 아래는 문항 16개를 실제로 돌려 나온 값입니다.
답의 내용은 그대로 두고 보여주는 순서만 바꿨는데, 두 번 다 앞자리가 이겼습니다. 16문항 중 14개가 이렇게 뒤집혔습니다. 고른 이유가 답의 내용이 아니라 자리였다는 뜻입니다.
이 숫자를 모른 채 AI에게 채점을 맡기면, 틀린 점수 위에 품질을 쌓게 됩니다. 이 숫자를 재는 방법도 강의 안에서 직접 만듭니다.
만드는 순서
규칙으로 채점하는 것부터 시작해, 채점을 AI에게 맡기고, 그 AI를 검증하고, 마지막엔 배포를 막는 검사까지. 한 단계씩 직접 쌓아 올립니다.
-
규칙으로 채점하기 6가지
TypeScript글자까지 똑같은지, 정해진 형식대로 나왔는지, 꼭 필요한 단어가 들어갔는지, 답하면 안 되는 질문을 거절했는지, 표현은 달라도 뜻이 같은지. AI를 부르지 않으니 눈 깜짝할 새 끝납니다.
-
채점을 AI에게 맡기기
llama3.2사람이 하나하나 읽던 채점을 AI에게 넘깁니다. 채점 기준표를 만들고, 답 하나에 점수를 매기는 방식과 답 둘을 붙여놓고 고르게 하는 방식을 둘 다 씁니다.
-
AI 채점을 믿어도 되는지 재기
TypeScript사람이 매긴 점수와 얼마나 같은지, 보기 순서만 바꿔도 답이 달라지는지, 길게 쓴 답을 무조건 좋게 보는 버릇이 있는지 잽니다.
-
시험 문제집 만들고 기준 답안 고정하기
TypeScript질문과 기대하는 답을 모아 문제집을 만들고, 한 번 돌린 결과를 기준 답안으로 저장해 둡니다. 다음부터는 여기에 대고 비교합니다.
-
나빠지면 배포를 막는 검사
TypeScript저장해 둔 기준 답안과 비교해 통과/실패를 가릅니다. "2% 떨어진 게 진짜 나빠진 건가, 그냥 흔들린 건가"도 계산으로 가려냅니다.
-
실행 과정 기록기 직접 짜기
TypeScript한 번의 실행이 어느 단계를 거쳤고 각 단계가 얼마나 걸렸는지, 토큰을 얼마나 썼는지 막대그래프로 그립니다. 외부 도구 없이 직접 짭니다.
다 만들면, 이런 화면을 보게 됩니다
강의에서 실제로 나온 화면입니다. 검사가 배포를 막고, 기록기가 왜 그랬는지 보여줍니다.
배포 전 검사
프롬프트를 고친 뒤 돌리면, 검사가 먼저 답합니다
문항 16개를 저장해 둔 기준 답안과 하나씩 대조해 case-01 · 08 · 10이 나빠진 걸 잡아냅니다. 사람이 눈으로 비교하지 않고, 정해 둔 개수를 넘으면 알아서 막습니다.
직접 짠 기록기
그래서 왜 나빠졌는지, 실행을 열어서 봅니다
막대가 긴 두 칸이 AI를 부르는 단계입니다. 한 번 돌리는 데 토큰 413개(질문 331 · 답 82)를 썼다는 것까지 나옵니다. 외부 도구를 붙이지 않고 TypeScript로 직접 짠 화면입니다.
재보지 않은 채점은 품질을 지켜 주지 않습니다. 지키고 있다는 착각만 만듭니다. 그 착각을 걷어내는 게 이 강의의 뼈대입니다.
포트폴리오와 이력서에 그대로 씁니다
"LLM 평가 도구를 써 봤습니다"와 "판정이 순서만 바꿔도 16번 중 14번 뒤집히는 걸 측정했습니다"는 다른 문장입니다. 뒤쪽을 쓰려면 직접 재봐야 하고, 이 강의가 그 과정이에요.
여섯 줄 모두 이 강의에서 직접 만들고 직접 재는 것들입니다. 면접에서 "그 평가를 뭘로 믿나요"라는 질문이 들어와도 답할 게 남습니다.
다들 LLM을 쓰는데,
검증은 아무도 안 합니다
이 강의가 파고드는 지점이 어디쯤인지 숫자로 보면 분명해집니다.
평가 도구 시장은 2026년 16억 달러에서 2033년 87억 달러로 커질 것으로 전망됩니다. 그런데 도구를 사는 것과, 그 도구가 내놓은 점수를 믿어도 되는지 판단하는 건 다른 일이에요. 뒤쪽을 할 줄 아는 사람이 아직 드뭅니다.
출처: VentureBeat VB Pulse 2026년 6~7월 조사(직원 100명 이상 기업 실무자, 응답 265건) · LangChain State of Agent Engineering(실무자 1,300명 이상) · Ye et al., Justice or Prejudice? Quantifying Biases in LLM-as-a-Judge, ICLR 2025(arXiv 2410.02736) · 독일 함 고등법원 2026년 5월 12일 판결, Moffatt v. Air Canada 2024 BCCRT 149 · Persistence Market Research(AI 평가 도구 시장 규모)
"나한테 맞는 강의인가?" 싶다면
통계 지식은? 그래픽카드는? 유료 API 키는? 필요한 게 뭐고 필요 없는 게 뭔지 아래에 전부 적어 뒀습니다.
이런 분께 추천합니다
아래 하나라도 해당되면, 이 강의는 바로 쓸모가 있습니다.
이런 분이라면 꼭
- LLM을 붙인 앱을 만드는 개발자
- 프롬프트나 모델을 바꿀 때마다 조마조마한 분
- 평가 도구를 쓰기 전에 그 속이 어떻게 도는지 알고 싶은 분
- "좋아 보인다"를 숫자와 근거로 바꾸고 싶은 분
- AI에게 채점을 맡겨도 되는지 확인하고 싶은 분
전부 노트북에서,
결제 없이 돌아갑니다
코드는 TypeScript로 쓰고 Node.js에서 tsx로 바로 실행합니다. 답을 만들고 채점하는 모델은 Ollama로 로컬에 띄운 llama3.2를 쓰고, 뜻이 비슷한지 비교할 때만 bge-m3를 부릅니다. 채점 결과의 형태가 어긋나지 않도록 zod로 스키마를 잡아 두고요.
결제할 API 키도, 가입할 서비스도, 그래픽카드도 없습니다. 폴더 하나에서 끝까지 이어집니다.
뭐가 필요한가요
거창한 준비는 필요 없습니다. 노트북 한 대면 시작할 수 있어요.
JS/TS 기본기와 AI 한 번 불러본 경험
기본 문법을 읽을 수 있고, AI API를 한 번이라도 호출해 봤으면 충분합니다. 통계나 머신러닝은 몰라도 됩니다. 계산이 필요한 대목은 강의 안에서 코드로 짚습니다.
macOS + Ollama
zsh와 Homebrew 기준으로 진행합니다. 답을 만들고 채점하는 건 llama3.2, 뜻이 비슷한지 보는 건 bge-m3 — 둘 다 노트북에서 돕니다. 그래픽카드 없이 끝까지 갑니다.
외부 결제 0원
결제할 API 키가 없습니다. 가입할 서비스도, 빌릴 서버도 없습니다. 인터넷 없이도 처음부터 끝까지 돌아갑니다.
강사 소개
실리콘 밸리 개발자 Waddy
13년차 백엔드 서버 개발자입니다. 국내 여러 기업을 거쳐 지금은 실리콘 밸리에서 AI 관련 개발을 하고 있습니다. LLM을 붙인 서비스가 "잘 되는 것 같다"에서 멈추면 어떻게 무너지는지를 현장에서 봤고, 그래서 채점 도구와 배포 전 검사를 직접 짜서 쓰고 있습니다. 이 강의는 그 도구를 만드는 과정을 그대로 옮긴 것입니다. 제가 아는 것을 최대한 쉽고 편하게 전달하겠습니다.
- TypeScript
- 완전 오프라인
- 라이브러리 없이
- LLM 평가
그래서, Hong 진짜 도움이 될까?
자주 묻는 질문
Q. 통계나 머신러닝을 잘 몰라도 되나요?
Q. 그래픽카드나 유료 API 키가 필요한가요?
Q. AI에게 채점을 맡겨도 되나요?
Q. 평가 도구가 이미 있는데 굳이 직접 만드나요?
Q. 작은 프로젝트인데도 이런 검사가 필요한가요?
Q. 어떤 걸 다루지 않나요?
Q. 먼저 들어야 할 강의가 있나요?
측정되지 않는 품질은, 지킬 수 없습니다.
다음 배포에서 무엇이 조용히 나빠질지, 지금은 알 방법이 없습니다. 그 방법을 직접 만들고 끝냅시다.
개발자들이 모이는 카카오톡 오픈채팅
배움은 강의 밖에서도 이어집니다. 커리어 고민, 현업의 상황, 기술 이야기를 자유롭게 나누는 공간이에요. 강의를 듣다 막힌 부분도 편하게 물어보세요. 누구나 무료입니다.
오픈채팅 참여하기