Z.ai GLM-Legal 공개
법률 과제 통과율 6.7%에서 19.2%로, 베타 API는 신청 승인제
Z.ai가 GLM-5.3-Flash를 법률 업무에 맞춰 다시 훈련한 GLM-Legal을 공개했다. Harvey LAB 통과율이 6.7%에서 19.2%로 올랐다. 점수는 모두 자체 평가이고 가격과 라이선스는 밝히지 않았다.
Z.ai가 법률 업무 전용 모델 GLM-Legal을 공개했다. 기반은 경량 모델 GLM-5.3-Flash이고 계약서 검토와 조항 수정안 작성, 여러 증거 문서의 모순 대조, 국가별 개인정보 규정 점검표까지 맡는다. 법률 에이전트 벤치마크 Harvey LAB의 전체 통과율은 기반 모델의 6.7%에서 19.2%로 올랐다. 24개 법률 분야에서 모든 기준을 통과해야 합격으로 치는 엄격한 측정이다.
한 줄 정리
Z.ai가 범용 경량 모델을 법률 업무용으로 재훈련해 Harvey LAB 통과율을 6.7%에서 19.2%로 올렸지만, 점수는 자체 평가이고 가격과 라이선스는 공개하지 않았다.
한눈에 보기
| 벤치마크 | GLM-Legal | 비고 |
|---|---|---|
| Harvey LAB 전체 통과율 | 19.2% | 기반 모델 6.7% |
| LegalBench | 86.2 | 계약·M&A·판결 분석에서 상위 폐쇄형 모델과 동급이라고 주장 |
| PLawBench(중국 법률 실무) | 77.3 | 선두 모델과 비슷하다고 주장 |
접근은 법무법인, 리걸테크 기업, 사내 법무팀, 개인 실무자의 신청을 받는 베타 API다. AutoClaw 데스크톱 에이전트 플랫폼에도 들어간다. 파라미터 수와 가격, 가중치 공개 여부는 밝히지 않았다.
무엇을 어떻게 훈련했나
Z.ai 설명으로는 법 개념과 법령, 해석 틀을 모은 코퍼스로 중간 훈련을 하고, 수만 개의 현실적 법률 환경에서 강화학습을 돌렸다. 눈에 띄는 부분은 채점이다. 변호사가 실제 산출물을 이슈 포괄성, 인용의 법적 타당성, 지시 준수, 수작업 없이 쓸 수 있는지의 네 기준으로 평가하고 그 점수를 훈련 신호로 바꿨다.
사례도 구체적이다. SaaS 계약 해지 조항 검토에서는 통지 기간을 60일에서 30일로 줄이고, 지식재산권이나 보안 위반 시 즉시 해지하며, 최대 90일의 이행 지원을 넣는 수정안을 Word 변경 내용 추적 형태로 냈다. 문서 40건짜리 소프트웨어 분쟁에서는 고객이 말한 공정률 60%와 내부 기록의 약 41%를 문서 번호까지 달아 연결했다. 다만 Z.ai도 이 추론은 추가 확인이 필요하다고 적었다.
19.2%를 어떻게 읽나
숫자만 보면 열 건 중 여덟 건이 탈락이다. 하지만 해커뉴스에서는 모든 기준을 충족해야 통과인 방식이라 요구사항의 93%를 맞힌 모델도 약 20%로 찍힐 수 있다는 지적이 나왔다. 벤치마크 자체가 채점자로 에이전트를 쓰고 범위가 넓다는 비판도 있다. 반대로 변호사 한 명은 소송 업무 기준으로 20%가 인상적이지 않다고 했다.
신뢰 문제도 따로 있다. Z.ai의 다른 코딩 도구가 프롬프트를 보낼 때마다 작업 공간 스냅샷을 올린다는 주장이 커뮤니티에 올라와 있다. 의뢰인 문서를 다루는 제품에서는 성능표보다 데이터가 어디로 가는지가 먼저다.
위시클레이 관점
6.7%에서 19.2%로 가는 데 쓰인 것은 더 큰 모델이 아니라 변호사의 채점이다. 같은 경량 모델이 전문가가 매긴 점수를 받고 세 배가 됐다. 좁은 분야에서 앞서는 힘은 모델 크기보다 그 분야 사람이 좋은 결과를 어떻게 판정하는지에 있다.
이건 법률에만 해당하지 않는다. 우리 회사의 카피 심사 기준, 응대 문구 승인 이력, 반려된 시안과 이유가 쌓여 있다면 그게 같은 종류의 채점 자료다. 지금은 아무도 정리하지 않지만 에이전트에게 일을 맡기는 순간 이 기록의 값이 올라간다.
계약서 검토를 맡길 대표라면 당장은 변호사의 검토를 대체하는 용도가 아니라 첫 초안의 쟁점 표시용으로 쓰는 게 맞다. 변경 내용 추적으로 나온 수정안은 사람이 하나씩 수락하거나 거절하기 쉽다. 사업 비밀이 담긴 계약서는 데이터 처리 조건이 문서로 확인된 뒤에 올린다.