스마트폰 화면에 표시된 오픈AI 로고. 오픈AI는 자체 AI 칩 ‘할라피뇨’를 올해 안에 자사 AI 모델 구동에 투입할 계획이다. 게티이미지코리아
25일(현지 시간) 블룸버그통신에 따르면 오픈AI의 반도체 부문 책임자인 리처드 호는 인터뷰에서 할라피뇨를 엔비디아 GB300과 비교한 결과 전력당 처리할 수 있는 AI 작업량과 응답 속도 두 부문에서 앞섰다고 밝혔다. GB300은 이번 시험에 사용된 공개 벤치마크 시스템에서 가장 높은 성능을 보이던 제품이었다.
오픈AI는 올해 말부터 할라피뇨를 자사 AI 모델을 구동하는 데 사용할 예정이다. 엔비디아가 장악한 AI 반도체 시장에서 구글과 아마존 등 빅테크들이 자체 칩 개발에 나선 가운데 오픈AI도 AI 인프라를 직접 구축하려는 움직임을 본격화한 것이다.
호는 할라피뇨를 데이터센터에 확대 적용하면 AI 서비스 비용을 크게 낮출 수 있다고 설명했다. 그는 “정말 좋은 칩이고 비용을 크게 낮출 수 있을 것”이라며 생산량을 충분히 늘리고 예상한 만큼 비용 절감 효과가 확인되면 자체 칩으로 처리하는 AI 작업을 확대하겠다고 밝혔다.
● 더 싸고 빠르게 답한다…오픈AI가 자체 칩 만든 이유
할라피뇨의 특징은 많은 AI 작업을 한꺼번에 처리하는 ‘처리량(throughput)’과 사용자의 질문에 빠르게 답하는 ‘낮은 지연시간(low latency)’을 동시에 겨냥했다는 점이다. 일반적으로 AI 칩은 대량의 작업을 처리하는 능력과 빠른 응답 속도 가운데 한쪽에 강점을 보이는 경우가 많다.
호는 “실험실에서 할라피뇨는 많은 고객에게 더 저렴하게 서비스를 제공할 수 있는 높은 처리량과 매우 빠른 응답시간을 모두 보여주고 있다”고 말했다.
오픈AI는 자사의 소형 오픈소스 모델뿐 아니라 딥시크와 문샷AI의 모델을 이용해 할라피뇨를 공개 시험했다. 특히 시험한 모델 가운데 가장 큰 문샷AI의 ‘키미’에서 성능상 이점이 더 크게 나타났다. 아직 공개되지 않은 오픈AI의 대형 AI 모델을 이용한 내부 시험에서도 높은 성능을 보였다고 회사 측은 밝혔다.
오픈AI는 할라피뇨를 활용할 AI 모델을 직접 정할 계획이다. 고객 입장에서는 어떤 모델을 선택하느냐에 따라 더 낮은 비용이나 더 빠른 응답 속도의 혜택을 받을 수 있다는 설명이다.
● 최신 ‘베라 루빈’과는 비교 안 해…AI 학습용도 아니다
용도에도 차이가 있다. 할라피뇨는 AI 모델을 처음부터 학습시키는 데 사용하는 칩이 아니라 이미 학습을 마친 AI가 사용자의 질문에 답하거나 작업을 수행하는 ‘추론(inference)’에 특화된 칩이다. 대규모 AI 모델 학습은 여전히 엔비디아가 강점을 가진 분야다.
오픈AI는 이미 할라피뇨 2세대 개발도 상당 부분 진행했다. 향후 몇 달 안에 설계를 마치고 제조를 위한 단계로 넘길 예정이며, 3세대 칩의 기본 설계도 시작했다. 전 세계에 막대한 규모의 AI 인프라를 구축하고 있는 만큼 자체 칩을 통해 전력 사용량과 인프라 비용을 낮추겠다는 구상이다.
오픈AI는 이미 할라피뇨 2세대 개발도 상당 부분 진행했다. 향후 몇 달 안에 설계를 확정해 생산 단계로 넘길 예정이며 3세대 칩의 기본 설계도 시작했다. 전 세계에 막대한 규모의 AI 데이터센터를 구축하는 만큼 자체 칩을 통해 전력 사용량과 인프라 비용을 낮추겠다는 구상이다.
최현정 기자 phoebe@donga.com