OpenAI가 자체 개발한 첫 인공지능(AI) 맞춤형 추론 프로세서 ‘할라페뇨(Jalapeño)’의 성능 시험 결과를 공개했다. 회사 측 시험에서는 엔비디아 GB200·GB300 기반 비교 시스템보다 전력 효율과 응답 속도 측면에서 높은 성능을 보인 것으로 나타났다.
OpenAI는 GPT-OSS 120B, DeepSeek R1 670B, Kimi K2.5 1T 등 3개 공개 AI 모델을 대상으로 할라페뇨의 추론 성능을 측정했다. 대규모 AI 서비스 운영에서 중요한 전력 소비와 사용자 체감 응답 속도를 동시에 개선하는 데 초점을 맞췄다는 설명이다.
할라페뇨, 전력당 AI 처리량 1.51배 높아
OpenAI는 세미애널리시스(SemiAnalysis)의 공개 벤치마크인 InferenceX를 활용해 시험을 진행했다.
회사 측에 따르면 최대 처리량을 기준으로 할라페뇨는 비교 시스템보다 전력당 AI 처리량이 1.51배 높았다. 엔드투엔드 응답 지연 시간은 1.73배 낮은 것으로 측정됐다.
사용자와 AI 간 상호작용이 많은 작업에서는 성능 차이가 더욱 확대됐다. 할라페뇨의 사용자당 디코딩 처리량은 비교 시스템보다 2.1~4.1배 높았다.
디코딩은 AI가 답변을 토큰 단위로 생성하는 과정이다. 생성 속도가 높을수록 이용자가 답변을 기다리는 시간이 줄어들기 때문에 실제 AI 서비스의 체감 성능과 직접적으로 연결되는 지표로 평가된다.
GPT-OSS 120B에서 전력당 최대 처리량 1.9배
GPT-OSS 120B 시험에서 할라페뇨의 전력당 최대 처리량은 초당 8만5,448토큰으로 측정됐다. 엔비디아 GB200 기반 비교 시스템의 초당 4만4,960토큰보다 1.9배 높은 수준이다.
엔드투엔드 응답 지연 시간은 할라페뇨가 1.03초로, 비교 시스템의 1.80초보다 짧았다.
DeepSeek R1 670B 시험에서는 할라페뇨의 전력당 처리량이 비교 시스템보다 1.7배 높았으며, 엔드투엔드 응답 지연 시간은 3.6배 낮았다. 사용자당 디코딩 처리량은 초당 700토큰으로 비교 시스템의 169토큰보다 4.1배 높았다.
Kimi K2.5 1T 시험에서도 할라페뇨는 비교 시스템보다 와트당 최대 처리량이 약 1.5배 높았다. 엔드투엔드 응답 지연 시간은 3.4배 낮았고, 사용자당 디코딩 처리량은 약 2.1배 높은 것으로 나타났다.
메모리·네트워크·소프트웨어까지 통합 설계
OpenAI는 실제 AI 서비스 환경에서는 단순한 칩 성능보다 일정한 전력으로 얼마나 많은 AI 작업을 처리할 수 있는지가 중요한 기준이라고 강조했다.
특히 AI 에이전트는 하나의 작업을 수행하기 위해 여러 차례 추론을 연속적으로 실행하기 때문에 각 단계에서 발생하는 지연 시간이 누적될 수 있다. 전력 효율과 응답 속도를 동시에 높이면 더 빠른 답변과 안정적인 서비스 운영이 가능하다는 설명이다.
할라페뇨의 성능 향상에는 프로세서뿐 아니라 메모리, 네트워크, 소프트웨어, 서버 시스템을 함께 설계한 접근 방식이 영향을 미쳤다고 OpenAI는 밝혔다.
AI 추론은 입력 프롬프트를 처리하는 ‘프리필(prefill)’ 단계와 답변을 토큰 단위로 생성하는 ‘디코드(decode)’ 단계로 나뉜다. 프리필에서는 연산 성능이 중요하지만 디코드 과정에서는 메모리 대역폭과 데이터 이동 효율이 성능에 더 큰 영향을 미칠 수 있다.
OpenAI는 모델 상태와 답변 생성에 활용되는 KV 캐시를 필요한 위치 가까이에 유지하고, 프로세서 간 데이터 이동과 통신 지연을 줄이도록 할라페뇨를 설계했다고 설명했다.
AI 활용해 9개월 만에 테이프아웃 완료
할라페뇨 개발 과정에도 AI 기술이 적극적으로 활용됐다. OpenAI에 따르면 초기 설계부터 테이프아웃까지 전체 과정은 9개월 만에 완료됐다.
설계 탐색과 구현, 측정, 검증 과정에 AI를 적용해 개발 기간을 단축했으며, 산술 회로 최적화에도 AI를 활용해 제한된 일정 안에서 더 높은 연산 성능을 확보했다고 설명했다.
또 당초 제품 운용 계획에 포함되지 않았던 3개 공개 모델을 코드 생성 도구인 Codex와 GPT-Astra를 활용해 두 달 안에 높은 성능으로 구동했다고 밝혔다.
GPT-OSS의 일부 어텐션 및 전문가 혼합 구조 블록에서는 AI가 생성한 구현이 기존 전문가가 작성한 구현보다 1.5~1.8배 빠르게 작동했다. 다만 OpenAI는 해당 수치가 전체 모델이 아닌 일부 블록에만 적용된다고 설명했다.
자체 인프라 배치 준비…차세대 칩 개발도 진행
OpenAI는 올해 후반부터 자체 컴퓨팅 인프라에 할라페뇨를 배치할 계획이다. 현재 생산 적격성 평가와 소프트웨어 개선, 대규모 운영 준비를 진행하고 있으며 앞으로 더 다양한 모델에서 성능을 검증할 방침이다.
2세대 할라페뇨 개발도 상당 부분 진행됐으며, 3세대 제품은 설계 단계에 들어갔다.
다만 자체 AI 칩 개발이 엔비디아와의 협력 중단을 의미하는 것은 아니다. OpenAI는 AI 모델 학습과 추론 모두에서 엔비디아를 비롯한 여러 파트너사의 가속기를 계속 폭넓게 활용할 계획이라고 밝혔다.
할라페뇨의 등장은 AI 기업들의 경쟁이 모델 개발을 넘어 반도체와 데이터센터 인프라 최적화로 확대되고 있음을 보여준다. 향후 실제 대규모 서비스 환경에서도 시험에서 제시된 전력 효율과 응답 성능을 유지할 수 있을지가 주요 관전 포인트가 될 전망이다.
Joon-seo Han은 Wpick.kr에서 뉴스, 정치, 경제, 기술, 스포츠, 엔터테인먼트 및 라이프스타일 전반을 다루는 기자입니다. 독자에게 신뢰할 수 있고 이해하기 쉬운 정보를 전달하는 것을 목표로 하며, 복잡한 이슈를 명확하게 정리해 제공합니다. 시사성과 실용성을 균형 있게 고려하여 최신 이슈와 일상에 도움이 되는 이야기를 중심으로 보도합니다. 항상 사실 기반의 보도와 독자 중심의 시각을 바탕으로 다양한 사회적 흐름을 전달합니다. 빠르고 정확한 보도를 통해 독자들이 중요한 정보를 놓치지 않도록 돕습니다.
