Astra는 일을 덜 한다. 그게 제품이자 그대로 불만이다

Astra가 일반 공개된 지 약 2주가 지났다. 출시 벤치마크와 사용자 불만이 같은 주에 나란히 도착하기에 충분한 시간이다. 그리고 둘은 같은 하나의 성질을 가리키고 있다.

독립 평가 기관 Artificial Analysis에 따르면 Astra의 Intelligence Index는 53으로, Claude Fable 5.1과 공동 1위이며 GPT‑5.6 Sol보다 6점 높다. 특이한 것은 점수 자체가 아니다. 그 점수에 도달하는 데 쓰는 출력 토큰이 Fable 5.1의 약 3분의 1이라는 점이다. 최대 노력 설정에서 작업당 약 27,000 토큰 대 78,000 토큰. 이 산수가 곧 이 제품의 전부다.

무엇을 사는 것인가

표시 가격은 GPT‑5.6 Sol의 2.5배이고, 대부분의 사람이 먼저 반응한 숫자도 그것이다. 하지만 반응해야 할 숫자는 거기가 아니다. Astra는 훨씬 적은 토큰으로 작업을 끝내기 때문에, Artificial Analysis가 측정한 Intelligence Index 작업당 비용은 $3.26으로 Fable 5.1의 $7.63 대비 약 40% 수준이다. Coding Agent Index에서도 Fable의 약 60%다. 토큰 단가로는 비싸다. 끝난 일 하나당으로는 현재 프런티어에서 가장 싸다.

격차가 진짜인 영역

향상은 에이전트형 작업에 집중돼 있다. 모델이 터미널, 브라우저, 툴체인을 몰면서 오래 돌아가는 작업이다.

Terminal-Bench에서 Sol을 19점 앞서는 것은 소폭 업데이트의 숫자가 아니다. 벤치마크가 닿지 않는 곳에서도 실무자 보고가 같은 방향을 가리킨다. 비정상적으로 넓은 웹 리서치 — 한 개발자는 경쟁 모델의 3~5배에 달하는 출처를 모았다고 세었다 — 그리고 3D와 공간 추론에서의 뚜렷한 도약으로, 여러 사람이 Blender와 게임 엔진 작업을 꼽았다.

같은 습성이 대가를 치르는 영역

Artificial Analysis는 동시에 GDPval-AA v2에서 Astra가 Sol보다 약 45 Elo 포인트 낮다는 점도 찾아냈고, 그 원인을 턴 수에 직접 돌렸다. Astra는 작업당 24턴을 썼고, 경쟁 모델들은 45~60턴을 썼다. 프레젠테이션 품질에서는 여전히 Sol이 앞선다.

이것은 토큰 효율과 정확히 같은 행동을 반대편에서 본 것이다. 일찍 멈추는 모델은 그 작업이 끝낼 수 있는 것이었다면 저렴하고, 그렇지 않았다면 부실하다. 사용자들이 묘사하는 모양도 정확히 그렇다. 직관에 어긋나는 시점에 작업 중간에 멈추고, 계속하려면 사람이 한 번 밀어줘야 한다. 게임 엔진 작업에 대한 한 실사용 리뷰는 자율 실행이 계획 리셋을 여러 번 소모하면서도 사람이 감독한 실행보다 나은 결과를 내지 못했다고 보고하며, 원시 성능보다 사람의 조종이 여전히 더 중요했다고 결론지었다.

갈아타기 전에 알아둘 구멍이 더 있다. Astra는 네이티브 영상 입력을 받지 않아, 타이밍이나 렌더링 버그는 사람이 보고 있지 않으면 그냥 지나간다. 리버스 엔지니어링과 보안 작업에서는 전용 모델인 GPT‑5.6 Cyber가 여전히 낫다고 테스터들은 보고한다. 그리고 여러 사람이 요청을 법조문처럼 읽는 과도한 신중함을 지적한다.

'멍청해졌다'는 불만

출시 약 일주일 뒤, Astra가 나빠졌다는 보고가 나오기 시작했다. 코드 품질 저하, 빠르지만 얄팍한 답변, 늘어난 불릿 포인트. 두 연구자가 동일한 프롬프트를 출시일 버전과 현재 버전에 돌려보고 새 쪽의 결과가 더 나빴다고 보고했다.

"우리가 가진 건 AGI가 아니다. 리그레션이다." — 프란잘 팔리왈, 개발자

다만 조심해서 다뤄야 한다. 출시 이후의 '체감 열화'는 반복되는 장르이고 — 7월에 GPT‑5.6 Sol도 같은 불만을 들었다 — 모델이 바뀐 것인지, 기대치가 바뀐 것인지, 서빙 구성 간 라우팅 때문인지를 분리해내기는 매우 어렵다. 이 글을 쓰는 시점까지 OpenAI는 이에 대해 언급하지 않았다. 회사에 물어야 할 것은 그 침묵이지, 주장 자체는 아직 입증되지 않았다.

결론

에이전트형 작업이라면 사라. 장시간 자율 코딩, 브라우저와 터미널 자동화, 출처의 폭이 중요한 딥 리서치. 완료된 작업 하나당 비용으로는 현재 프런티어에서 가장 좋은 거래이고, Terminal-Bench의 격차는 실제 운영에서 의미가 있을 만큼 넓다.

반면 초안 작성, 서식 정리, 혹은 빠른 처리보다 꼼꼼한 한 바퀴가 중요한 일의 '그대로 갈아끼우는 업그레이드'로 사서는 안 된다. 프레젠테이션은 Sol이 낫고, 토큰당 가격도 싸며, 일을 끝났다고 선언하려는 성향도 덜하다. 보안 특화 업무라면 전용 모델이 여전히 이긴다.

이 리뷰가 의도적으로 결론 내지 않은 쟁점이 하나 있다. Astra는 추론의 일부를 읽을 수 있는 텍스트가 아니라 잠재 공간에 둔다. 그리고 OpenAI가 자사 프레임워크에서 사이버 역량을 '크리티컬'로 평가한 첫 모델이기도 하다. 그 논쟁은 별도의 글에서 다뤘다.

출처: Artificial Analysis — Benchmarking GPT-6 Astra · OpenAI — The path to Astra · OpenRouter — gpt-6-astra · LLM-Stats — GPT-6 Astra · Decrypt — Users say OpenAI's newest model got dumber · MindStudio — GPT-6 Astra hands-on · Hacker News — Initial thoughts on GPT-6 Astra · CNBC — OpenAI begins rolling out Astra