GPT-6.2 Astra와 Sol은 같은 제품의 크기만 다른 두 버전이 아닙니다. Astra는 OpenAI가 가장 어려운 프로젝트용으로 내놓은 모델이고, Sol은 일상 업무와 대량 에이전트 작업을 위한 모델입니다. 표준 단기 컨텍스트 정가 기준으로 Astra의 입력·출력 토큰당 비용은 Sol의 4배입니다. 따라서 실질적인 질문은 어느 모델이 더 강해 보이는가가 아니라, 실제로 활용할 수 있는 작업당 최저 비용으로 합격 기준을 통과하는 모델이 무엇인지 — 그리고 더 나은 출력을 위해 프리미엄을 지불할 가치가 언제 있는지입니다.
범위와 근거. OpenAI는 2026년 11월 17일 GPT-6.2 Astra와 Sol의 출시를 발표했습니다. 아래 사양과 정가는 OpenAI 출시 글과 공식 모델 페이지에서 가져왔으며, 2026년 11월 18일에 확인했습니다. 이 글은 벤치마크 보고서가 아니라 계획 가이드입니다. 어느 모델도 실행하지 않았고, 지연 시간을 측정하거나 출력을 채점하지 않았습니다. 비용 예시는 공식 요율과 함께 제시된 가정을 바탕으로 한 산술 계산입니다. ToAPIs 국제 사이트 카탈로그에는 Astra와 Sol이 등재되어 있습니다. 계정에서 사용할 수 있는 변형, 요율, 라우팅은 실시간 카탈로그에서 확인하세요. 이 글은 플랫폼별 요율, 엔드포인트 경로, 지역 지원 범위를 단정하지 않습니다.
1. 판단의 기준이 되는 공식 사실
OpenAI의 출시 글은 Astra를 슬라이드, 스프레드시트, 문서, 코딩, 컴퓨터 사용, 시각 추론을 포함한 복잡한 전문 작업에, Sol을 다단계 에이전트 워크플로를 포함한 일상적인 기술·비기술 작업에 배치합니다. 두 모델 모두 텍스트와 이미지를 입력받고 텍스트를 반환합니다. 공식 모델 페이지에 기재된 컨텍스트와 출력 한도는 동일합니다.
| 사양 | GPT-6.2 Astra | GPT-6.2 Sol |
|---|---|---|
| API 모델 ID | gpt-6.2-astra | gpt-6.2-sol |
| OpenAI 포지셔닝 | 가장 어려운 프로젝트, 시작부터 완료까지 | 일상 업무와 대규모 에이전트 |
| 입력 모달리티 | 텍스트, 이미지 | 텍스트, 이미지 |
| 출력 | 텍스트 | 텍스트 |
| 컨텍스트 윈도우 | 1,050,000 토큰 | 1,050,000 토큰 |
| 최대 입력 | 922,000 토큰 | 922,000 토큰 |
| 최대 출력 | 128,000 토큰 | 128,000 토큰 |
| 지식 컷오프 | 2026년 5월 18일 | 2026년 6월 1일 |
| 추론 설정 | Highest, none 거부 | Highest, none 거부 |
| 파인튜닝 | 지원 안 함 | 지원 안 함 |
가장 큰 경제적 차이는 컨텍스트 한도가 아니라 가격입니다.
| 공식 표준 단기 컨텍스트 요금 | Astra | Sol | Astra / Sol |
|---|---|---|---|
| 입력, 100만 토큰당 | $8.00 | $2.00 | 4배 |
| 캐시 입력, 100만 토큰당 | $0.40 | $0.10 | 4배 |
| 출력, 100만 토큰당 | $40.00 | $10.00 | 4배 |
| 30분 캐시 쓰기, 100만 토큰당 | $10.00 | $2.50 | 4배 |
출처: OpenAI API 가격 페이지와 모델 페이지, 2026년 11월 18일 확인. 요율은 100만 토큰당 미국 달러 기준이며 세금과 플랫폼 요금은 제외됩니다. 참고용 공식 정가이며 ToAPIs 견적이 아닙니다.
OpenAI는 벤더가 보고한 성능 주장도 제시합니다. Cognition의 FrontierCode 2.0에서 두 모델을 최대 추론으로 설정했을 때 Sol은 Astra와 0.5점 이내 차이를 보이면서 비용은 약 5분의 1이라고 밝힙니다. 또한 Artificial Analysis의 AA-3D 인간 선호도 평가에서 Astra가 1,318 Elo, Sol이 1,259 Elo라고 보고합니다. 이는 저희가 구성과 설정을 감사하지 않은 벤더 보고 결과입니다. 가설로만 활용하세요. 여러분의 프롬프트, 도구, 합격 기준은 다른 순위를 만들 수 있습니다.
2. 4배 가격 차이: Astra가 정당화되려면 무엇이 참이어야 하나
표준 단기 컨텍스트 정가에서 Astra와 Sol은 입력, 출력, 캐시 입력 모두 4:1 관계입니다. 두 모델이 같은 수의 과금 토큰을 소비하고 같은 횟수의 시도가 필요하다면, Astra의 합격한 작업당 비용이 더 낮으려면 합격률이 Sol의 4배를 넘어야 합니다. 합격률은 100%를 넘을 수 없으므로 Sol의 합격률이 25%를 넘는 순간, 같은 토큰과 시도 횟수라는 조건에서는 불가능해집니다.
이 진술의 적용 범위는 좁습니다. 같은 토큰량, 같은 시도 횟수, 같은 과금 단위라는 전제입니다. 그래도 출발점으로 유용합니다. 품질 격차가 얼마나 커야 Astra가 비용만으로 이길 수 있는지 보여 주기 때문입니다. 손익분기 민감도는 다음과 같습니다.
| Sol 합격률 | Sol의 합격한 작업당 비용과 같아지려면 필요한 Astra 합격률 |
|---|---|
| 10% | 40% |
| 15% | 60% |
| 20% | 80% |
| 25% | 100% |
| 30% | 120% (달성 불가) |
| 50% | 200% (달성 불가) |
작업당 토큰 수와 시도 횟수가 동일하고 모든 시도에 과금된다고 가정합니다. 토큰 구성이 달라지면 손익분기점도 달라집니다.
이 손익분기 분석은 Astra의 가격이 과하다는 주장이 아닙니다. '최고 모델'이라는 라벨을 그대로 라우팅 정책으로 삼지 말자는 주장입니다. Sol의 출력을 사용할 수 없거나, 잘못된 답변의 비용이 크거나, 사람이 수정하는 비용이 토큰 프리미엄보다 클 때 Astra는 합리적일 수 있습니다. 일상적인 분류, 추출, 짧은 고객 응대에서는 거의 기본값이 아닙니다.
세 가지 단서가 중요합니다.
- 토큰 효율이 배수를 바꿀 수 있습니다. Astra가 훨씬 적은 출력 토큰이나 시도로 합격에 도달한다면 실질적인 프리미엄은 4배 미만입니다. 저희는 조건을 맞춘 측정치가 없으므로 구체적인 숫자를 주장하지 않습니다.
- 배수는 청구서가 아닙니다. 입력이 272,000 토큰을 넘으면 입력과 캐시 요율이 2배가 되고, 출력은 요청 전체에 대해 1.5배로 계산됩니다. 4:1 정가 관계는 유지되지만 절대 비용은 올라갑니다. 단기 컨텍스트 예시를 장문 컨텍스트 작업에 재사용하지 마세요.
- 다른 과금 단위가 배수를 깨뜨릴 수 있습니다. 도구 호출, 컨테이너, 파일 검색, 배치·Fast 모드, Ultrafast, 백그라운드 윈도, 지역 할증, 세금, 플랫폼 수수료는 이 계산에 포함되지 않습니다. 공식 가격 페이지와 계정 요율을 확인하세요.
3. 시나리오 맵: 각 모델이 제 역할을 하는 지점
워크로드, 실패 비용, 처리량을 명확히 하면 선택이 쉬워집니다. 아래 표는 시작 정책이며, 측정된 품질에 대한 주장이 아닙니다.
| 워크로드 | 시작 모델 | Astra로 승격할 시점 | 주요 비용 요인 |
|---|---|---|---|
| 대량 고객 지원, 분류, 추출 | Sol | 모호하거나 고가치인 사례가 평가 기준을 통과하지 못하거나, 잘못된 답변이 비용 큰 수동 검토를 유발할 때 | 작업당 시도 횟수와 합격률 |
| 범위가 정해진 코딩 작업, 테스트 생성, PR 리뷰 | Sol | 변경이 여러 파일에 걸치거나 설계 판단이 필요하거나, 회귀를 나중에 발견할수록 비용이 커질 때 | 합격한 작업당 비용과 리뷰 시간 |
| 슬라이드, 스프레드시트, 메모, 고객 산출물 | 초안은 Sol | 템플릿 준수, 사실 종합, 1차 결과의 사용 가능성이 산출물의 활용 여부를 좌우할 때 | 재작업과 검토 시간 |
| 장기 에이전트와 도구 워크플로 | 실행은 Sol | 계획 수립이나 모호한 단계가 반복적으로 실패하거나, 더 강한 시각·컴퓨터 사용 판단이 필요할 때 | 누적 토큰과 재시도 |
| 시각, 3D, CAD, 인터랙티브 프런트엔드 | 단순 페이지는 Sol | 공간 정밀도, 시각 품질, 세밀한 컴퓨터 사용이 사용자 결과를 좌우할 때 | 재시도와 사람의 검토 |
| 오프라인 배치 처리 | Sol | 품질 필터가 Sol 출력을 너무 많이 거부하거나, 작업 자체가 프런티어 수준의 난이도일 때 | 배치 할인과 거부율 |
대량 고객 지원과 추출: Sol이 경제적 기본값
고객 지원 분류나 인보이스 추출 파이프라인은 하루에 수천 건의 짧은 요청을 처리할 수 있으며, 입력은 수천 토큰이고 출력은 짧은 레이블이나 JSON입니다. Sol의 $2/$10 요율은 큰 이점이고, 1.05M 컨텍스트는 Astra와 같으므로 컨텍스트 용량은 업그레이드 이유가 아닙니다. 특정 실패만 승격하세요. 고가치 계정의 스키마 실패, 출처 문서 간 모순, 환불이나 컴플라이언스 검토를 유발하는 오류 등입니다. 해당 코호트를 측정하고, 데모가 더 좋아 보였다는 이유로 대기열 전체를 옮기지 마세요.
저장소 전체 코드 변경: 품질은 리뷰 시간으로 드러납니다
한 줄 수정이라면 Sol이 합리적인 첫 시도입니다. 설계가 불분명한 다중 파일 리팩터링은 다릅니다. 실제 비용에는 시니어 엔지니어의 읽기, 누락된 호출 지점 찾기, 테스트 수정 시간이 포함됩니다. Sol이 여러 차례 수정을 요구하는 반면 Astra가 한두 번에 병합 가능한 변경을 만든다면, 토큰 가격이 4배여도 합격한 변경당 비용은 Astra가 더 낮을 수 있습니다. 합격은 반드시 실행으로 확인해야 합니다. 일회용 환경에서 패치를 적용하고 테스트를 실행하세요. 그럴듯해 보이는 diff로는 충분하지 않습니다.
전문 산출물: Astra의 프리미엄이 더 쉽게 정당화되는 영역
슬라이드, 밸류에이션 워크북, 법률 요약, 고객 메모는 재작업 비용이 큽니다. 템플릿을 무시한 덱이나 필수 조항을 놓친 메모는 모델 요금보다 더 많은 사람의 시간을 소모할 수 있습니다. OpenAI는 Astra를 전문 관행과 템플릿 준수에 적합한 모델로 포지셔닝합니다. 그래도 실제 템플릿으로 블라인드 검토를 하세요. Sol의 초안이 사용 가능하다면 Sol로 충분합니다. 구조를 크게 바꿔야 한다면 검토 시간과 Astra의 프리미엄을 비교하세요.
에이전트와 시각 워크플로: 플래너와 실행기를 분리하세요
에이전트 워크플로는 컨텍스트를 누적하므로 가격 차이가 누적되어 커집니다. 일반적인 패턴은 Sol에 일상적인 도구 호출, 추출, 짧은 응답을 맡기고, Astra는 계획 수립, 모호한 결정, 전체 경로를 좌우하는 시각·컴퓨터 사용 단계에 남겨 두는 것입니다. 작업당 토큰과 시도 예산을 설정하세요. 전체 트레이스를 기록하고, 가장 좋아 보이는 중간 메시지가 아니라 완료된 작업을 평가하세요.
4. 간단한 비용 예시
호출 1회에 입력 10,000 토큰, 출력 2,000 토큰을 사용하는 작업을 가정합니다. OpenAI 표준 단기 컨텍스트 정가를 적용하고, 호출 1회를 시도 1회로 보며 모든 호출에 과금된다고 합시다.
- Sol: 입력 $0.02 + 출력 $0.02 = 호출당 $0.04.
- Astra: 입력 $0.08 + 출력 $0.08 = 호출당 $0.16.
Sol이 두 번째 시도에서 성공하면 작업 비용은 $0.08입니다. Astra가 첫 시도에서 성공하면 $0.16입니다. Sol이 다섯 번 시도해야 한다면 $0.20으로, Astra가 한 번에 성공한 $0.16보다 비쌉니다. 따라서 Astra가 재시도나 수정을 충분히 줄여 이 차이를 메울 때만 프리미엄을 지불할 가치가 있습니다. 시도 횟수는 설명을 위한 가정이며 측정값이 아닙니다. 여러분의 로그를 사용하세요.
이것이 합격한 작업당 비용의 실용적인 버전입니다. 과금되는 모든 호출을 세고, 결과를 사용 가능하게 만드는 데 드는 시간과 달러 합계를 함께 저울질하세요.
이 수치는 요청당 입력이 272,000 토큰 미만이라고 가정한 OpenAI 공개 표준 단기 컨텍스트 가격 기반의 계획용 추정치입니다. 캐시 적중과 캐시 쓰기, 도구 요금, 배치·Fast·Ultrafast·백그라운드 윈도 가격(할인 포함), 지역 할증, 세금, 플랫폼 수수료, 사람의 검토·수정 시간은 제외합니다. ToAPIs 견적이 아닙니다. 계정의 실시간 요율은 모델 카탈로그와 가격 페이지에서 확인하세요.
5. 세 단계로 선택하기
- Sol로 시작하세요. 실제 작업 또는 작은 샘플을 프로덕션 프롬프트와 출력 규칙으로 Sol로 실행합니다. 각 결과의 합격 여부, 필요한 호출 수, 수정에 걸린 시간을 기록하세요.
- 구체적인 실패 사례에 Astra를 시험하세요. 더 강한 모델이라면 해결할 수 있는 이유로 Sol이 실패한다면 — 모호한 지시, 약한 설계 판단, 어려운 시각 단계 등 — 같은 입력을 Astra로 실행합니다. 데모 하나가 더 좋아 보였다는 이유로 전체 워크로드를 옮기지 마세요.
- 총 호출 비용과 수정 시간을 비교하세요. 각 모델의 호출당 가격으로 모든 과금 호출을 합산하고, 출력을 검토하거나 수정하는 시간을 옆에 놓습니다. Astra의 추가 호출 비용을 재시도 감소, 수정 감소, 오류 비용 감소가 상쇄할 때만 Astra를 선택하세요.
API 연동에는 모델 카탈로그, 가격 페이지, API 문서를 사용하세요. 모델 ID와 첫 요청은 함께 제공되는 GPT-6.2 API 가이드를 참고하세요. 계정에서 사용할 수 있는 변형, 요율, 지역은 실시간 카탈로그에서 확인하세요. 이 글은 플랫폼별 요율, 엔드포인트 경로, 지역 지원 범위를 단정하지 않습니다.
6. 자주 묻는 질문
Astra는 4배 가격의 가치가 있나요?
증가한 품질이 프리미엄을 정당화할 만큼 결과를 바꿀 때만 그렇습니다. 일상적이고 요구 사항이 명확한 작업에서는 Sol을 이기기 어렵습니다. 고가치 산출물, 비용이 큰 코드 변경, 반복되는 Sol 실패라면 토큰 요율이 높아도 실제로 사용할 수 있는 작업당 비용은 Astra가 더 낮을 수 있습니다.
Sol이 더 싸면 코딩 품질도 낮나요?
OpenAI는 FrontierCode 2.0에서 두 모델을 모두 최대 추론으로 설정했을 때 Sol이 Astra와 0.5점 이내 차이를 보이면서 비용은 약 5분의 1이라고 보고합니다. 이는 벤더의 주장이며 여러분 저장소의 결과가 아닙니다. 패치 적용 가능성, 테스트 통과율, 리뷰 공수, 회귀 위험을 직접 테스트하세요.
캐시 입력은 어떻게 계산해야 하나요?
캐시 입력은 Astra가 100만 토큰당 $0.40, 캐시를 쓰지 않으면 $8.00입니다. Sol은 $0.10과 $2.00입니다. 캐시 쓰기는 별도입니다. 긴 프롬프트나 문서를 재사용한다면 캐시를 쓰지 않는 가격을 가정하지 말고 캐시 적중률을 측정하세요. 이 글의 예시는 캐시 이점이 없다고 가정합니다.
272K 토큰을 넘는 긴 프롬프트는 어떻게 되나요?
별도로 계산하세요. 입력이 272,000 토큰을 넘으면 입력과 캐시 요율이 2배가 되고, 출력은 요청 전체에 대해 단기 컨텍스트 요율의 1.5배가 적용됩니다. 4:1 정가 관계는 유지되지만 절대 비용은 올라갑니다. 장문 컨텍스트 작업은 단기 컨텍스트 추정치에서 분리하세요.
ToAPIs로 이 비교를 실행할 수 있나요?
ToAPIs 국제 사이트 카탈로그에는 Astra와 Sol이 등재되어 있지만, 이 글은 플랫폼별 요율, 엔드포인트, 지역 지원 범위를 단정하지 않습니다. 실시간 카탈로그와 가격 페이지를 확인하세요. 개발자 부록의 비교 하네스는 기본적으로 OpenAI 공식 API를 대상으로 합니다. 다른 OpenAI 호환 엔드포인트를 사용한다면 모델 ID, 필드, 과금 단위를 확인하세요.
7. 출처와 방법
- OpenAI: Introducing GPT-6.2 Astra and Sol, 2026년 11월 17일 발표 — 출시 포지셔닝, 제공 현황, 벤더 보고 결과.
- OpenAI 모델 페이지: GPT-6.2 Astra — 모델 ID, 컨텍스트 한도, 모달리티, 도구, 가격, 2026년 11월 18일 확인.
- OpenAI 모델 페이지: GPT-6.2 Sol — 모델 ID, 컨텍스트 한도, 모달리티, 도구, 가격, 2026년 11월 18일 확인.
- OpenAI API 가격 — 표준, 캐시, 장문 컨텍스트, 배치, Fast, Ultrafast 조건, 2026년 11월 18일 확인.
- ToAPIs: GPT-6.2 API 가이드 — 플랫폼별 설정과 가격, 함께 제공되는 글.
방법론 노트. 달러 수치는 공개된 정가와 예시의 토큰·시도 가정으로부터 나온 결정론적 산술 결과입니다. 청구서, 견적, 측정 결과가 아닙니다. 이 글을 위해 모델 추론, 지연 시간 측정, 품질 채점, 블라인드 검토를 수행하지 않았으며 개발자 부록의 비교 하네스도 실행하지 않았습니다. 프로덕션 결정을 내리기 전에 요율, 토큰 수, 시도 횟수를 자체 파일럿 데이터로 바꾸세요.
개발자 부록: 직접 비교 실행하기
다음 프로토콜은 여러분의 워크로드에 대한 근거를 만들기 위해 설계되었습니다. 의도적으로 리더보드가 아닙니다. 이 글을 위해 비교를 실행하지 않았고, 모델 출력이나 지연 시간 수치도 보고하지 않습니다.
테스트 설계
- 작업 세트를 고정하세요. 대표적인 사례 20~50개를 사용합니다. 기존 동작을 보호하는 쉬운 사례와 모델을 구분하는 어려운 사례를 모두 포함하세요. 기밀 데이터는 제거하거나 합성 등가물로 바꾸세요.
- 요청을 고정하세요. 계약이 허용하는 범위에서 두 모델에 같은 시스템 프롬프트, 사용자 입력, 도구, 출력 스키마, 토큰 예산을 사용합니다. 불가피한 차이는 기록하세요.
- 비결정적 작업은 반복하세요. 최선의 출력만이 아니라 분포와 실패도 보존하세요.
- 블라인드로 채점하세요. 검토 전에 모델 레이블을 제거합니다. 모든 필수 검사를 통과해야만 작업이 합격입니다. 필드를 놓치거나 식별자를 만들어 내거나 테스트를 실패한, 겉보기에는 매끄러운 답변도 실패입니다.
- 과금되는 시도 횟수를 세고 지연 시간은 분리하세요. 실패한 시도도 과금된다면 비용 분자에 포함해야 합니다. 첫 토큰까지의 시간, 완료 시간, 합격 결과까지의 시간을 각각 보고하고 타이머에 무엇이 포함되는지 밝히세요.
최소 사례 세트는 다음과 같습니다.
| 사례 | 작업 | 합격 검사 |
|---|---|---|
extract-01 | 짧은 주문 메시지에서 품목과 수량 추출 | 유효한 JSON, 정확한 키, 수량은 정수, 값을 만들어 내지 않음 |
code-01 | 경계 조건이 있는 함수 구현 | 패치 적용됨, 테스트 통과, 잘못된 입력 거부, 무관한 변경 없음 |
clarify-01 | 주문 ID 없이 주문 상태 문의에 응답 | 주문 ID를 요청함, ID를 만들어 내지 않음, 쓰기 작업 없음 |
memo-01 | 제공된 자료 묶음을 한 페이지 메모로 정리 | 필수 섹션 모두 포함, 수치가 출처로 추적 가능, 근거 없는 주장 없음 |
하네스는 공식 OpenAI Chat Completions 엔드포인트를 두 모델 ID로 호출하고, 사용량, 지연 시간, 요청/반환 모델 식별자, 타임스탬프를 기록하며 accepted는 사람 검토자에게 남겨 둡니다. API 키가 필요하고 --execute를 전달할 때만 과금 호출을 수행합니다. estimate_cost는 캐시 적중, 과금 모드 할인, 플랫폼 수수료를 무시하므로 청구된 사용량과 대조하세요. 프로덕션 데이터를 사용하지 말고, 집계 플랫폼이 모델 ID나 요율을 보존한다고 가정하지 마세요.
#!/usr/bin/env python3
"""Reusable GPT-6.2 Astra vs Sol comparison harness.
The comparison was not executed for the accompanying article. Requires OPENAI_API_KEY and
explicit --execute consent because calls are billable. Acceptance is manual.
"""
from __future__ import annotations
import argparse
import json
import os
import time
import urllib.request
from datetime import datetime, timezone
from pathlib import Path
API_URL = os.environ.get("OPENAI_BASE_URL", "https://api.openai.com/v1").rstrip("/") + "/chat/completions"
MODELS = ("gpt-6.2-astra", "gpt-6.2-sol")
RATES = {
"gpt-6.2-astra": {"input": 8.00, "output": 40.00},
"gpt-6.2-sol": {"input": 2.00, "output": 10.00},
}
CASES = [
{
"id": "extract-01",
"system": "Return only valid JSON with exactly the keys item and quantity.",
"user": "Please order 3 blue mugs.",
"rubric": ["valid JSON", "item is blue mugs", "quantity is the integer 3"],
},
{
"id": "code-01",
"system": "Return a unified diff only. Do not include commentary.",
"user": (
"Implement merge_intervals(intervals) so overlapping or adjacent "
"intervals are merged. Reject invalid ranges. Include tests."
),
"rubric": ["patch applies", "tests pass", "invalid ranges rejected"],
},
{
"id": "clarify-01",
"system": "You are an order-support agent. Never invent identifiers.",
"user": "Where is my order?",
"rubric": ["asks for order ID", "does not invent an ID", "no write action"],
},
]
def estimate_cost(model: str, prompt_tokens: int, completion_tokens: int) -> float:
rate = RATES[model]
return (
prompt_tokens * rate["input"] + completion_tokens * rate["output"]
) / 1_000_000
def call_model(model: str, case: dict) -> dict:
body = json.dumps(
{
"model": model,
"messages": [
{"role": "system", "content": case["system"]},
{"role": "user", "content": case["user"]},
],
"max_completion_tokens": 8000, # fixed cap for this comparison
}
).encode("utf-8")
request = urllib.request.Request(
API_URL,
data=body,
headers={
"Authorization": f"Bearer {os.environ['OPENAI_API_KEY']}",
"Content-Type": "application/json",
},
)
started = time.perf_counter()
with urllib.request.urlopen(request, timeout=180) as response:
payload = json.load(response)
elapsed = time.perf_counter() - started
usage = payload.get("usage", {})
prompt_tokens = usage.get("prompt_tokens", 0)
completion_tokens = usage.get("completion_tokens", 0)
return {
"requested_model": model,
"returned_model": payload.get("model"),
"api_url": API_URL,
"timestamp_utc": datetime.now(timezone.utc).isoformat(),
"case_id": case["id"],
"run": None,
"latency_seconds": round(elapsed, 3),
"prompt_tokens": prompt_tokens,
"completion_tokens": completion_tokens,
"cost_usd": round(estimate_cost(model, prompt_tokens, completion_tokens), 6),
"output": payload["choices"][0]["message"]["content"],
"rubric": case["rubric"],
"accepted": None,
"reviewer": None,
"review_notes": None,
}
def main() -> None:
parser = argparse.ArgumentParser()
parser.add_argument("--execute", action="store_true", help="make billable API calls")
parser.add_argument("--repeats", type=int, default=1)
parser.add_argument("--out", default="gpt-6-2-runs.jsonl")
args = parser.parse_args()
if not args.execute:
print("Dry plan only. Re-run with --execute after checking access, budget and data rules.")
for case in CASES:
print(json.dumps({"case": case["id"], "models": MODELS, "repeats": args.repeats}))
return
if not os.environ.get("OPENAI_API_KEY"):
raise SystemExit("Set OPENAI_API_KEY first.")
output = Path(args.out)
with output.open("a", encoding="utf-8") as handle:
for case in CASES:
for model in MODELS:
for run in range(args.repeats):
record = call_model(model, case)
record["run"] = run + 1
handle.write(json.dumps(record, ensure_ascii=False) + "\n")
print(json.dumps({
"case_id": record["case_id"],
"model": record["requested_model"],
"latency_seconds": record["latency_seconds"],
"cost_usd": record["cost_usd"],
}))
print(f"Wrote {output}. Fill 'accepted' manually against each rubric before comparing costs.")
if __name__ == "__main__":
main()
검토 후 라우팅 결정의 핵심 수치를 계산합니다.
import json
from pathlib import Path
rows = [json.loads(line) for line in Path("gpt-6-2-runs.jsonl").read_text().splitlines()]
if not rows or any(type(row["accepted"]) is not bool for row in rows):
raise SystemExit("Review every row before comparing costs.")
for model in sorted({row["requested_model"] for row in rows}):
model_rows = [row for row in rows if row["requested_model"] == model]
accepted = sum(row["accepted"] is True for row in model_rows)
estimated = sum(row["cost_usd"] for row in model_rows)
per_accepted = estimated / accepted if accepted else None
print(model, {"accepted": accepted, "estimated_usd": round(estimated, 4),
"cost_per_accepted": round(per_accepted, 4) if per_accepted is not None else None})
이 하네스는 도구 실행을 테스트하지 않습니다. 모델이 생성한 코드나 셸 명령을 실행하면 보안과 재현성 문제가 생기기 때문입니다. 워크플로에서 도구를 사용한다면 도구 트레이스를 별도로 평가하세요. 유효한 인수, 권한, 부작용, 재시도, 그리고 질문을 먼저 하는 것이 올바른 행동이었는지 살펴보세요. 완벽한 답변을 작성했더라도 파괴적인 도구를 잘못 호출했다면 그 작업은 합격이 아닙니다.







