코히어 제공
기업용 인공지능(AI) 시장의 경쟁 축이 ‘얼마나 뛰어난 AI 모델을 만들었느냐’에서 ‘기업 데이터를 얼마나 안전하고 효율적으로 활용하느냐’로 이동하고 있다. 기업과 정부기관이 자체 인프라로 AI를 구축하는 소버린(Sovereign) AI가 새로운 화두로 떠오르면서다.
이에 글로벌 소버린 AI 기업 코히어(Cohere)가 한국과 일본에 법인을 세우고 아시아·태평양 지역 사업 확대에 나선다. 기업용 AI 시장이 급상승하는 아태 지역의 거점으로 한국을 낙점한 것이다.
글로벌 소버린 AI 기업 코히어는 5일 서울 소공동 웨스틴조선호텔에서 기자간담회를 열고 한국 법인 설립 계획과 아시아·태평양 사업 확대 전략을 발표했다.
코히어 제공
소버린 AI는 기업과 정부가 협동해 빅테크에 의지하지 않고 자체 인프라를 활용해 구축하는 독자적인 AI 생태계를 뜻한다. 코히어는 2019년 캐나다 토론토에 설립된 글로벌 소버린 AI 기업으로, 기업 및 기관의 업무 환경에 맞춘 솔루션을 제공한다.
오다우드 CRO는 “코히어는 처음부터 엔터프라이즈 AI를 목적으로 설립된 기업으로, 업계에서 가장 규제가 엄격한 기관들과 협력해 왔다”며 “우리는 소버린 AI가 목적이지 ‘강남스타일이 유명하냐, 다이너마이트가 유명하냐’를 묻는 그런 모델이 아니다”라고 말했다.
● 데이터, 회사 밖으로 내보내지 않는다
코히어가 겨냥한 시장도 바로 이 지점이다.
오다우드 CRO는 “우리는 모든 클라우드 환경에서 서비스를 제공할 수 있을 뿐 아니라 기업의 자체 데이터센터에서도 AI를 구동할 수 있다”고 설명했다. 온프레미스나 에어갭(외부망 차단) 환경에서도 AI를 운영할 수 있어 기업의 핵심 데이터를 외부로 반출하지 않고도 생성형 AI를 활용할 수 있다는 것이다.
클라우드 환경에서의 보안도 놓치지 않았다. 코히어 측은 “페드램프(FedRAMP) 등 각국이 요구하는 보안 인증도 다수 취득해 안정성을 높였다”고 강조했다.
● AI 성능보다 중요한 건 비용…토큰 줄이는 ‘리랭크’
프랭크 오다우드 코히어 사업총괄책임자(CRO)가 연단에서 발언하고 있다. 사진=김영호 기자 rladudgh2349@donga.com
오다우드 CRO는 “많은 기업이 AI에 투자했지만 기대했던 만큼의 효과를 얻지 못하고 있다”며 “간단한 작업에 굳이 프런티어 모델을 사용할 필요는 없다. 총소유비용(TCO)을 낮춰 투자 회수 기간을 단축하는 것이 중요하다”고 말했다.
이것이 가능하려면 고도의 리랭크(Rerank) 기술이 필요하다. 대형 언어 모델(LLM)이 불필요한 정보를 검색하느라 많은 토큰을 소모할 필요 없이, 기댓값에 가장 근접한 데이터를 줄 세워 선별하는 기술이다.
코히어는 자사가 보유한 임베딩 기반 리랭크 기술이 120개 언어를 다룰 수 있다며 “특히 번역 부분에서 타사 프론티어급 모델(각 기업 최상위 AI 모델)과 비슷한 성능을 보인다”라고 밝혔다.
왼쪽부터 프랭크 오다우드 코히어 CRO, 장화진 아시아태평양 총괄 대표 사장. 코히어 제공
기업과 기관의 도입 사례도 늘고 있다. 캐나다 왕립은행(RBC)은 코히어의 금융 특화 플랫폼을 도입했으며, 코히어는 “5만 명 이상의 사용자 가운데 4만5000명이 실제 활성 사용자로 전환됐다”고 소개했다.
코히어는 베이스 모델 제공을 통한 자체 모델 공동 개발에도 힘쓰고 있다. 국내에서는 LG CNS와 공동 제작한 ‘집현’과 ‘LG 엑사원’, 일본에서는 후지쯔와 협력해 일본어 특화 거대언어모델(LLM) ‘타카네(Takane)’를 공동 개발했다. 델(Dell)과는 AI 에이전트를 자동으로 구성·배치하는 턴키 솔루션을 구축해 델의 ‘AI 팩토리’ 사업에도 참여하고 있다.
코히어 제공
코히어는 추후 한국에 별도 법인을 설립해 상시적인 사업 기반을 구축하고, 연말까지 아시아태평양 지역 기술·영업 인력을 현재의 두 배로 늘릴 계획이다. 일본에서는 후지쯔와 협력을 확대하고, 싱가포르에서는 공공 부문 지원을 강화할 방침이다.
김영호 기자 rladudgh2349@donga.com