PART 2 · 비유로 이해하기
23 / 32
LLM 평가 = 수능 출제와 채점
수능
LLM 평가 시스템
학생
평가 대상 LLM / 산출물
출제위원
평가 기준 설계자
채점 기준표
eval 루브릭
점수
정량 스코어
채점 자체는 기계도 할 수 있습니다. 정말 어려운 건
좋은 평가 기준을 설계하는 일
— 이게 evals의 핵심 난이도입니다.
AI로 바꾸는 개발자의 일
23 / 32