RTK는 토큰 절감을 보고하지만, 비용 벤치마크 결과는 다르다

터미널 출력을 압축하는 RTK를 Terminal-Bench 2.1에서 1,740회 비교한 결과, Fable의 총비용은 5% 줄고 DeepSeek은 5% 늘었지만 작업별 평균 비용은 각각 1%, 17% 증가함 rtk gain 은 실제 청구 토큰이 아니라 명령 출력의 압축 전후 바이트 차이를 4로 나눈 값이며, 요청하지 않은 전체 파일을 기준으로 계산한 두 호출이 절감 카운터의 69% 를 차지함 Fable의 비용 절감은 거의 단일 작업에 집중됐고, DeepSeek에서는 같은 작업이 오히려 더 비싸졌음 — RTK 적용 시 통과율도 각각 1%, 2% 낮아졌으나 차이는 작았음 셸 출력은 전체 비용의 일부에 불과하고 캐시 할인과 별도 파일 도구도 RTK의 효과를 제한함 — DeepSeek은 턴당 입력이 7% 줄었지만 전체 턴이 18% 늘어 압축 효과를 상쇄함 이번 결과로는 RTK를 범용 비용 절감 도구로 권장하기 어려움 — 제거된 출력량보다 실패를 포함한 실제 지출, 작업 통과 여부, 추가 턴을 함께 비교해야 함 RTK가 줄이는 출력과 실제 청구 비용의 차이 RTK(Rust Token Killer)는 AI 에이전트가 읽기 전에 터미널 출력을 필터링·압축하는 도구로, GitHub 스타가 7만 9,000개를 넘음 Claude Code 토큰을 최대 60% 줄일 수 있다는 X 게시물은 조회 수 31만 3,000회를 기록했지만, JetBrains의 SkillsBench 실험에서는 비용 절감이 없었음 RTK README도 에이전트가 읽는 Bash 출력을 최대 90% 줄이는 것이 청구액 90% 감소와 같지는 않다고 명시함 터미널 출력 감소는 비용 절감에 도움이 되거나 아무 효과가 없을 수 있으며, 추가 턴이나 품질 저하로 역효과를 낼 수도 있음 RTK는 셸 도구로 실행하는 Git·테스트·패키지·파일 명령을 재작성해 더 짧은 출력을 반환함 ls -la에서는 파일명·크기·권한을 남기고 소유자와 날짜를 제거함 권한은 rw-r--r-- 대신 644처럼 압축해 표시함 실험 설계와 비교 범위 터미널 상호작용이 많은 Terminal-Bench 2.1을 사용해 여러 날에 걸쳐 1,500달러 이상의 토큰 비용을 지출함 에이전트가 대부분의 작업을 통과하는 2.1을 선택했으며, 더 최신인 3.0과 4.0은 여전히 어려운 벤치마크임 비용 비교는 작업이 통과할 때 의미가 있다는 기준을 적용함 Claude Code와 Fable 5.0, OpenCode와 De...