미국 노동시간의 90%는 AI 벤치마크가 거의 다루지 않는 일이다

모델이 새로 나올 때마다 벤치마크 표가 따라온다. 그런데 그 표가 우리가 하는 일을 얼마나 재고 있을까. Mercor 연구팀이 이 질문을 숫자로 풀었다. 미국 노동부 O*NET의 직업 923개, 과업 18,797개를 공개 벤치마크 29종과 맞춰 본 결과 프롬프트 5개 이상이 붙은 과업이 하나라도 있는 직업은 208개뿐이었다. 22개 직군 가운데 6개는 벤치마크가 아예 없다.

연구팀의 추정으로 미국 노동시간의 약 90%가 벤치마크로 거의 검증되지 않는 과업에 쓰인다.

한 줄 정리

AI 벤치마크는 일부 직업의 일부 과업에 몰려 있어서, 점수가 높은 모델이 우리 팀의 일을 잘한다는 보장은 아직 없다.

한눈에 보기

어디에 몰려 있나

벤치마크는 AI에 노출된 과업, 임금 총액이 큰 직업, 직업 안에서 중요한 과업에 몰려 있다. 임금 총액을 통제해도 같은 경향이 남는다. 코딩과 금융, 법률처럼 돈이 되고 채점이 쉬운 쪽을 먼저 잰 셈이다.

반대로 비어 있는 자리는 중산층 지식노동의 긴 꼬리다. 연구팀은 법률 비서와 법원 서기가 변호사와 비슷한 수준으로 AI에 노출돼 있는데도 벤치마크가 거의 없다고 짚었다. 콘텐츠 운영, 고객 응대 정리, 교육 자료 가공, 정산 확인처럼 소규모 팀의 하루를 채우는 일이 대체로 여기에 속한다.

이 숫자를 읽는 법

연구팀 스스로 한계를 적었다. 벤치마크 29종 목록이 완전하지 않아서 커버리지가 낮게 잡혔을 가능성이 있다. 소프트웨어 공학처럼 벤치마크가 많은 분야는 직군당 상한 때문에 낮게 나온다. 포화된 벤치마크를 뺀 선택도 쉬운 과업의 커버를 줄였다. 벤치마크는 자동화를 재지 사람과 AI의 협업은 거의 재지 못한다.

그러니 90%는 정확한 수치라기보다 방향이다. 투자은행, 법률, 회계, 소프트웨어 공학 네 직업으로 시범 분석을 했는데 여기서도 관련 과업의 3분의 1 미만만 충분한 커버를 가졌다.

우리 일에 옮기면

벤치마크가 비어 있다는 말은 모델이 못한다는 말이 아니다. 아무도 재 보지 않았다는 말이다. 잘할 수도 있고 엉망일 수도 있는데 우리는 어느 쪽인지 점수로 알 수 없다.

소규모 팀의 일은 대개 이름 붙은 직업의 과업이 아니라 여러 과업을 섞은 하루다. 고객 문의를 읽고 상품 정보를 확인하고 답변 초안을 쓰고 톤을 맞춘다. 이 묶음을 통째로 재는 벤치마크는 없다. 그래서 단건 점수가 아무리 높아도 묶음에서 어디가 약한지는 써 봐야 안다.

연구팀이 지적한 또 하나는 벤치마크가 자동화를 재지 협업을 거의 재지 않는다는 점이다. 사람이 AI 초안을 고쳐 쓰는 일이 일의 대부분인 팀이라면 점수와 현장의 거리는 더 벌어진다.

위시클레이 관점

모델 소개 페이지에서 가장 눈에 띄는 숫자는 직업 923개 중 208개만 잰다. 우리 팀의 일이 나머지 715개 쪽에 있을 확률이 더 높다. 점수가 올랐다는 이유로 새 모델마다 갈아탈 일은 아니다.

대신 우리 일의 벤치마크를 직접 만든다. 지난달 실제로 처리한 요청 20개를 골라 정답 기준을 한 줄씩 적어 두면 된다. 상품 설명 수정, 고객 문의 분류, 주간 보고서 초안처럼 이름도 없던 업무가 평가 대상이 된다. 이런 일은 공개 벤치마크에 없으니 우리가 만든 표가 곧 유일한 표다.

벤치마크가 빈 자리에서는 먼저 재는 팀이 판단을 쥔다. 점수 1~2점 차이를 놓고 모델을 고르던 시간을 이 20개에 쓰는 편이 싸게 먹힌다.

참고

• Mercor 노동 지수: 벤치마크 지도, 90% 보고서 원문 (Mercor)