알림은 화재경보기, 에이전트는 그 건물만 지키는 경비원 — 에이전트 모니터링이 바꾸는 운영

에이전트에게 모니터링을 맡기자는 Ben Congdon의 에세이입니다. 출발점은 Anthropic 엔지니어링 블로그의 한 문단이에요. 거기서는 Claude에게 컴포넌트 하나씩만 맡겨 그것만 집요하게 지켜보게 하고, 이런 Claude를 "슈퍼팬(superfan)"이라고 불렀습니다. 저자는 이게 시스템 운영이 앞으로 갈 길이라고 봅니다.

• 문제: 코드는 폭발적으로 늘어나는데 그 코드를 직접 읽어 본 사람은 줄고 있습니다. 모니터링은 원래도 비싸고 숙련자를 키우기 어려운 일이었어요. 기사에서는 장애의 약 70%가 변경 때문이라는 구글 SRE 책의 문장을 인용합니다. 그래서 배포나 설정 변경 직후를 집중 감시해야 하는데, 이걸 잘하려면 사람이 지표에 꼼꼼히 태그를 다는 수작업이 필요했습니다.
• 해법: 에이전트는 귀찮아하지 않습니다. 변경마다 맞춤 쿼리를 짜고 로그를 끝없이 훑어서, 정밀도(오탐이 적은 정도)와 재현율(놓치지 않는 정도)을 싸게 함께 얻습니다. 저자의 프로토타입은 이렇게 돌아갑니다. 에이전트가 코드를 읽고 감시 계획(스펙)을 쓰면, 정해진 규칙대로 움직이는 시스템이 그 스펙을 실행합니다. 경보가 울리면 다른 에이전트가 조사하고, 필요하면 사람에게 넘깁니다. 에이전트가 처음부터 끝까지 도는 방식보다 신호가 깨끗하고 토큰도 훨씬 덜 듭니다.
• 전망: 에이전트는 24시간 모든 지표를 보고, 여러 가설을 병렬로 조사하며, 사람보다 코드를 빨리 읽습니다. 성능 최적화도 맡길 수 있습니다. 기사에서는 사람이 이미 다듬은 라이브러리에서 힙 50%, 지연 30%를 줄인 사례를 드는데, 저자 본인이 겪은 사례입니다. 장차 롤백 같은 조치까지 맡길 수 있다고도 봅니다. 비용은 큰 회사 전체를 감시해도 하루 100달러 수준으로 추정하는데, 이것도 저자 추정치입니다.

저자는 곧 "에이전트 없이 운영하는 게 무모한" 시대가 온다고 결론 내립니다. 다만 근거는 저자의 프로토타입 경험이고, 검증된 수치나 공개된 구현은 없습니다.

출처: Agentic Monitoring — Ben Congdon · Anthropic, Redesigning source control

기존 알림은 화재경보기이고, 슈퍼팬은 그 건물만 맡은 베테랑 경비원에 가깝습니다.

• 화재경보기(기존 알림): 연기 농도가 기준선을 넘으면 울립니다. 미리 정해 둔 조건만 봐요. 기준을 낮추면 토스트만 구워도 울리고(오탐), 높이면 진짜 불을 늦게 잡습니다. 그리고 처음 보는 종류의 이상은 애초에 감지 대상이 아닙니다.
• 경비원(슈퍼팬): 그 건물 하나만 보는 사람이라 평소 모습을 압니다. "3층 복도 불이 평소보다 오래 켜져 있네", "저 문은 이 시간에 열린 적이 없는데"처럼 규칙에 없는 낌새를 알아챕니다. 이상하면 직접 CCTV(로그)를 돌려 보고, 설계도(코드)를 펼쳐 원인을 추측한 뒤 관리자에게 보고합니다.

Anthropic 글의 표현도 비슷합니다. 슈퍼팬은 "차트를 새로고침하며 이상한 걸 찾는 것 말고는 할 일이 없는 숙련 엔지니어"처럼 행동하고, 그에 비하면 기존 알림은 "1차원적으로 보인다"고 했어요. 다만 기존 알림을 없애지는 않았습니다. 경보기는 그대로 두고 경비원을 추가한 셈입니다.

Congdon 글의 구조로 보면 경비원이 혼자 다 하지는 않습니다. 경비원이 순찰 계획표(스펙)를 쓰면 기계가 그 계획대로 돌고, 걸리는 게 있을 때만 경비원이 출동합니다. 사람으로 치면 피곤하지 않은 경비원 수십 명을 하루 몇 달러에 쓰는 셈이라는 게 저자의 요지입니다.

출처: Anthropic, Redesigning source control · Agentic Monitoring