Google이 AQuA를 오픈소스로 풀었다

에이전트를 현장에 내보내고 나면 가장 무서운 건 에러 메시지가 아니다. 응답 코드는 200으로 멀쩡한데 답이 조금씩 틀어지는 상태가 몇 주째 이어지는데 아무도 모른다. Google이 이 문제를 겨냥해 AQuA(Ambient Quality Agent)를 오픈소스로 공개했다. 운영 중인 에이전트의 기록을 읽고 어디가 왜 틀어졌는지 진단해 주는 감시용 에이전트다.

예시로 든 여행 컨시어지 에이전트에서 세션 32건을 훑자 지적 사항이 42건, 묶음이 9개, 최종 확인된 문제가 6개 나왔다. 비용은 $3.76, 세션당 약 $0.12다.

한 줄 정리

운영 중인 에이전트의 조용한 품질 저하를 세션당 $0.12 안팎으로 찾아 주는 점검 도구가 공개됐고, 고치는 일은 여전히 사람이 승인한다.

한눈에 보기

점검이 돌아가는 순서

AQuA는 에이전트 요청 경로에 끼어들지 않는다. 쌓인 기록과 배포 당시의 소스 스냅샷만 읽고 에이전트에는 아무것도 되쓰지 않는다. 정해진 주기나 배포 직후, 또는 필요할 때 돌려서 최근 세션을 최대 1,000건 뽑는다.

심판 역할의 모델이 세션마다 9개 항목 체크리스트로 채점하고 "실제로 일어난 일"과 "기대한 일"을 짝지어 적는다. 같은 원인의 지적은 한 묶음으로 모은다. 그다음 별도 모델이 묶음마다 원문 대화 최대 3건을 다시 읽고 근거가 약한 묶음을 버린다. 오탐 3개가 여기서 걸러졌다.

확인된 문제는 신규, 반복, 14일간 안 보이면 자동 해결로 표시된다. 원인 분석은 요청할 때만 돌고 문제가 우리 코드에 있으면 파일과 줄 범위를 짚어 수정안을 내놓는다. 적용은 하지 않는다.

발견된 문제는 사소해서 무서웠다

여행 에이전트에서 나온 문제는 셋이다. 기획 담당 하위 에이전트가 빈 좌석인지 확인하지 않고 좌석을 저장한 경우가 15세션. 채식 선호가 하위 에이전트로 넘어가는 경계에서 사라진 경우가 7세션. 하위 에이전트 프롬프트는 도구가 주는 값을 요구하는데 도구 목록이 비어 있던 경우가 5세션.

셋 다 사용자 눈에는 "그냥 좀 이상한 답"으로 보인다. 에러 로그에는 한 줄도 남지 않는다. 담당자가 직접 대화를 읽어야만 발견되고 읽는 사람이 없으면 영영 안 보인다.

고친 방법도 평범했다. 프롬프트 한 줄 수정 두 번으로 좌석 확인 생략이 15세션에서 2세션으로, 채식 선호 누락이 7세션에서 0세션으로 줄었다. 전체 통과는 5/32에서 13/32가 됐다. 여전히 절반이 안 넘는다. 점검 도구가 만능이라는 얘기는 아니고 아직 고칠 게 19세션어치 남았다는 얘기다.

팀에는 어떤 일이 되나

AQuA 자체는 Google Cloud 위에서 ADK로 만든 에이전트를 전제하고 Gemini 모델이 심판과 진단을 맡는다. 개발 인력이 없는 10명 규모 마케팅 팀이 그대로 설치할 물건은 아니다.

가져갈 건 구조다. 에이전트를 운영하는 팀이라면 누군가 주 1회 세션 서른 개를 읽는 시간을 정해 두는 것만으로 AQuA가 하는 일의 상당 부분을 흉내 낼 수 있다. 외주사나 에이전시에 에이전트 구축을 맡겼다면 납품 조건에 "운영 중 세션 샘플 점검 보고"를 넣는 근거로 쓸 만하다.

위시클레이 관점

세션당 $0.12라는 단가가 이야기를 바꾼다. 사람이 대화 32건을 읽으려면 한나절이 들고 그 시간이 아까워서 안 읽는다. 점검 비용이 $4 아래로 내려오면 "읽을 시간이 없다"는 변명이 먼저 사라진다.

그런데 AQuA는 수정을 적용하지 않는다. 문제를 찾는 일은 싸졌는데 어떤 수정을 받아들일지는 여전히 비싼 일이다. 채식 선호가 경계에서 사라지는 문제를 프롬프트로 막을지 구조를 바꿔 막을지는 그 서비스를 아는 사람이 정한다.

에이전트를 하나 운영하는 팀이라면 오늘 할 일은 구체적이다. 지난주 대화 중 서른 개를 뽑아 "기대한 답"과 "실제 답"을 나란히 적어 보는 것. 틀어진 곳이 서너 군데 나오면 점검 체계가 필요한 단계다.

참고

• Google 개발자 블로그: AQuA, 운영 에이전트를 진단하는 상시 품질 에이전트
• Google adk-recipes 저장소 (AQuA 코드 위치)