오픈AI “엔비디아 칩보다 빠르다”…자체 AI칩 ‘할라피뇨’ 공개

최현정 기자 2026-08-26 13:56

스마트폰 화면에 표시된 오픈AI 로고. 오픈AI는 자체 AI 칩 ‘할라피뇨’를 올해 안에 자사 AI 모델 구동에 투입할 계획이다. 게티이미지코리아

챗GPT 개발사 오픈AI가 자체 개발한 인공지능(AI) 칩 ‘할라피뇨(Jalapeno)’가 성능 테스트에서 엔비디아의 현행 AI 칩보다 높은 성능을 냈다고 밝혔다. AI 연산에 필요한 전력당 처리량과 응답 속도에서 엔비디아 GB300을 앞섰다는 것으로, 오픈AI는 올해 안에 자체 AI 서비스에 새 칩을 투입할 계획이다.

25일(현지 시간) 블룸버그통신에 따르면 오픈AI의 반도체 부문 책임자인 리처드 호는 인터뷰에서 할라피뇨를 엔비디아 GB300과 비교한 결과 전력당 처리할 수 있는 AI 작업량과 응답 속도 두 부문에서 앞섰다고 밝혔다. GB300은 이번 시험에 사용된 공개 벤치마크 시스템에서 가장 높은 성능을 보이던 제품이었다.

오픈AI는 올해 말부터 할라피뇨를 자사 AI 모델을 구동하는 데 사용할 예정이다. 엔비디아가 장악한 AI 반도체 시장에서 구글과 아마존 등 빅테크들이 자체 칩 개발에 나선 가운데 오픈AI도 AI 인프라를 직접 구축하려는 움직임을 본격화한 것이다.

호는 할라피뇨를 데이터센터에 확대 적용하면 AI 서비스 비용을 크게 낮출 수 있다고 설명했다. 그는 “정말 좋은 칩이고 비용을 크게 낮출 수 있을 것”이라며 생산량을 충분히 늘리고 예상한 만큼 비용 절감 효과가 확인되면 자체 칩으로 처리하는 AI 작업을 확대하겠다고 밝혔다.

할라피뇨는 오픈AI가 미국 반도체업체 브로드컴과 함께 개발했다. 양사는 지난해 자체 AI 칩 개발을 위한 협력을 발표했으며 지난 6월에는 새 칩을 기록적으로 짧은 기간에 개발했다고 공개했다.

● 더 싸고 빠르게 답한다…오픈AI가 자체 칩 만든 이유

할라피뇨의 특징은 많은 AI 작업을 한꺼번에 처리하는 ‘처리량(throughput)’과 사용자의 질문에 빠르게 답하는 ‘낮은 지연시간(low latency)’을 동시에 겨냥했다는 점이다. 일반적으로 AI 칩은 대량의 작업을 처리하는 능력과 빠른 응답 속도 가운데 한쪽에 강점을 보이는 경우가 많다.

호는 “실험실에서 할라피뇨는 많은 고객에게 더 저렴하게 서비스를 제공할 수 있는 높은 처리량과 매우 빠른 응답시간을 모두 보여주고 있다”고 말했다.

전력 효율도 오픈AI가 강조하는 부분이다. 할라피뇨는 700W의 낮은 전력에서 높은 성능을 냈으며, 전력 사용량이 주요 비용 가운데 하나인 AI 데이터센터의 운영비를 낮추는 데 도움이 될 것으로 회사 측은 기대하고 있다.

오픈AI는 자사의 소형 오픈소스 모델뿐 아니라 딥시크와 문샷AI의 모델을 이용해 할라피뇨를 공개 시험했다. 특히 시험한 모델 가운데 가장 큰 문샷AI의 ‘키미’에서 성능상 이점이 더 크게 나타났다. 아직 공개되지 않은 오픈AI의 대형 AI 모델을 이용한 내부 시험에서도 높은 성능을 보였다고 회사 측은 밝혔다.

오픈AI는 할라피뇨를 활용할 AI 모델을 직접 정할 계획이다. 고객 입장에서는 어떤 모델을 선택하느냐에 따라 더 낮은 비용이나 더 빠른 응답 속도의 혜택을 받을 수 있다는 설명이다.

● 최신 ‘베라 루빈’과는 비교 안 해…AI 학습용도 아니다

다만 오픈AI가 이번에 할라피뇨와 비교한 제품은 엔비디아의 최신 세대 AI 칩은 아니다. 최근 출하를 시작한 차세대 ‘베라 루빈(Vera Rubin)’과는 성능을 비교하지 않았다.

용도에도 차이가 있다. 할라피뇨는 AI 모델을 처음부터 학습시키는 데 사용하는 칩이 아니라 이미 학습을 마친 AI가 사용자의 질문에 답하거나 작업을 수행하는 ‘추론(inference)’에 특화된 칩이다. 대규모 AI 모델 학습은 여전히 엔비디아가 강점을 가진 분야다.

오픈AI는 이미 할라피뇨 2세대 개발도 상당 부분 진행했다. 향후 몇 달 안에 설계를 마치고 제조를 위한 단계로 넘길 예정이며, 3세대 칩의 기본 설계도 시작했다. 전 세계에 막대한 규모의 AI 인프라를 구축하고 있는 만큼 자체 칩을 통해 전력 사용량과 인프라 비용을 낮추겠다는 구상이다.

오픈AI는 이미 할라피뇨 2세대 개발도 상당 부분 진행했다. 향후 몇 달 안에 설계를 확정해 생산 단계로 넘길 예정이며 3세대 칩의 기본 설계도 시작했다. 전 세계에 막대한 규모의 AI 데이터센터를 구축하는 만큼 자체 칩을 통해 전력 사용량과 인프라 비용을 낮추겠다는 구상이다.

호는 “인프라 비용을 낮출 수 있는 비용과 전력 수준에 도달했다”며 “이것은 첫 단계”라고 말했다.

최현정 기자 phoebe@donga.com

당신을 위한 뉴스