속으로 생각하고 말로 행동하는 HybridAgent — 오픈 모델 팀엔 쓸 만하지만 아직 심사 전

Stanford·Together AI 연구진이 낸 HybridAgent 논문이에요. 생각은 글자로 풀어 쓰지 않고 모델 내부에서 하고, 도구 호출과 답변만 텍스트로 하게 만든 에이전트입니다.

• 구조: HybridLink라는 작은 어댑터(4B 모델 기준 약 1천만 파라미터)가 모델의 마지막 내부 상태를 다음 입력으로 다시 넣어요. 그래서 단어를 하나씩 만들어내지 않고도 생각을 이어갑니다. 내부에서 한 생각은 가장 가까운 단어로 바꿔 대략 읽어볼 수 있어요.
• 학습: Qwen3-Base 4B·8B·14B 모델을 지도학습(HybridSFT)과 강화학습(HybridRL)으로 추가 학습했습니다. 11개 벤치마크에서 평균 10.4% 높은 점수를 냈다고 해요.
• 효율: 토큰은 3555% 덜 쓰고, 추론은 1.82.6배 빠르며, 비용은 2.7~3.7배 줄었다고 합니다. 모두 저자들이 직접 잰 수치예요.

적용: 코드와 8B·14B 가중치, 학습 데이터가 MIT 라이선스로 공개돼 있습니다. 파이썬 실행과 검색(Tavily) 도구를 붙여 바로 추론해볼 수 있어요. 다만 모델 자체를 다시 학습하는 방식이라 Claude나 GPT 같은 API 모델에는 쓸 수 없습니다. vLLM 같은 기존 서빙 엔진도 지원하지 않아서 저자들이 고친 엔진을 써야 해요. 강화학습 단계는 GPU 32장을 권장합니다. 그래서 오픈 모델을 직접 돌리면서 추론 비용을 줄이고 싶은 팀에 맞는 기술이에요.

신뢰도:

• 믿을 만한 점: 코드와 가중치가 공개돼 있어 직접 검증해볼 수 있어요. 시드 5개로 반복 실험했고, 내부 생각을 다른 문제의 것으로 바꿔 넣는 실험도 했습니다. 그러면 MATH500 정확도가 84.6에서 44.8로 떨어져서, 모델이 내부 생각을 실제로 쓴다는 근거가 돼요.
• 주의할 점: 10월 13일에 올라온 프리프린트라 동료 심사를 아직 거치지 않았습니다. 비용 절감 수치는 GPU 이용률 10%를 가정한 추정이고, 입력 처리와 도구 실행 비용은 빠져 있어요. 수학 벤치마크에서 기존 강화학습 방법(ARPO)보다 나은 폭은 1~3%p 정도로 작습니다. 공개 예시를 보면 내부 생각을 단어로 바꾼 결과도 "I me the the speed"처럼 군데군데 깨져 있어요.

출처: arXiv 2610.18861 · GitHub