코히어 “강남스타일 묻는 그런 모델 아니다”…소버린 AI로 韓·日 공략

김영호 기자 2026-08-05 15:59

코히어 제공

“강남스타일이 유명하냐, 다이너마이트가 유명하냐 묻는 그런 모델 아니다.”

기업용 인공지능(AI) 시장의 경쟁 축이 ‘얼마나 뛰어난 AI 모델을 만들었느냐’에서 ‘기업 데이터를 얼마나 안전하고 효율적으로 활용하느냐’로 이동하고 있다. 기업과 정부기관이 자체 인프라로 AI를 구축하는 소버린(Sovereign) AI가 새로운 화두로 떠오르면서다.

이에 글로벌 소버린 AI 기업 코히어(Cohere)가 한국과 일본에 법인을 세우고 아시아·태평양 지역 사업 확대에 나선다. 기업용 AI 시장이 급상승하는 아태 지역의 거점으로 한국을 낙점한 것이다.

글로벌 소버린 AI 기업 코히어는 5일 서울 소공동 웨스틴조선호텔에서 기자간담회를 열고 한국 법인 설립 계획과 아시아·태평양 사업 확대 전략을 발표했다.

코히어 제공

프랭크 오다우드 코히어 사업총괄책임자(CRO)와 장화진 아시아·태평양 총괄 대표는 기업과 정부기관이 겪는 보안·비용 문제의 해법으로 온프레미스 기반의 소버린 AI 플랫폼을 제시했다.

소버린 AI는 기업과 정부가 협동해 빅테크에 의지하지 않고 자체 인프라를 활용해 구축하는 독자적인 AI 생태계를 뜻한다. 코히어는 2019년 캐나다 토론토에 설립된 글로벌 소버린 AI 기업으로, 기업 및 기관의 업무 환경에 맞춘 솔루션을 제공한다.

오다우드 CRO는 “코히어는 처음부터 엔터프라이즈 AI를 목적으로 설립된 기업으로, 업계에서 가장 규제가 엄격한 기관들과 협력해 왔다”며 “우리는 소버린 AI가 목적이지 ‘강남스타일이 유명하냐, 다이너마이트가 유명하냐’를 묻는 그런 모델이 아니다”라고 말했다.

● 데이터, 회사 밖으로 내보내지 않는다

금융, 제조, 통신, 헬스케어, 제약 등 보안 규제가 엄격한 산업에서는 AI 모델을 외부 클라우드에서 사용할 경우 기업 데이터가 외부로 유출되거나 모델 학습에 활용될 수 있다는 우려가 꾸준히 제기돼 왔다. 최근에는 이러한 요구가 공공 부문으로도 확대되는 추세다.

코히어가 겨냥한 시장도 바로 이 지점이다.

오다우드 CRO는 “우리는 모든 클라우드 환경에서 서비스를 제공할 수 있을 뿐 아니라 기업의 자체 데이터센터에서도 AI를 구동할 수 있다”고 설명했다. 온프레미스나 에어갭(외부망 차단) 환경에서도 AI를 운영할 수 있어 기업의 핵심 데이터를 외부로 반출하지 않고도 생성형 AI를 활용할 수 있다는 것이다.

클라우드 환경에서의 보안도 놓치지 않았다. 코히어 측은 “페드램프(FedRAMP) 등 각국이 요구하는 보안 인증도 다수 취득해 안정성을 높였다”고 강조했다.

● AI 성능보다 중요한 건 비용…토큰 줄이는 ‘리랭크’

프랭크 오다우드 코히어 사업총괄책임자(CRO)가 연단에서 발언하고 있다. 사진=김영호 기자 rladudgh2349@donga.com

보안 못지않게 기업들이 고민하는 부분은 비용이다. 시장조사 기관 사피오 리서치가 올해 초 조사에 따르면, 미국·영국의 직원 1000명 이상 기업 리더 500명 중 79%가 지난 1년 간 AI 도입으로 인한 비용이 예상치를 넘겼다고 답했다.

오다우드 CRO는 “많은 기업이 AI에 투자했지만 기대했던 만큼의 효과를 얻지 못하고 있다”며 “간단한 작업에 굳이 프런티어 모델을 사용할 필요는 없다. 총소유비용(TCO)을 낮춰 투자 회수 기간을 단축하는 것이 중요하다”고 말했다.

이것이 가능하려면 고도의 리랭크(Rerank) 기술이 필요하다. 대형 언어 모델(LLM)이 불필요한 정보를 검색하느라 많은 토큰을 소모할 필요 없이, 기댓값에 가장 근접한 데이터를 줄 세워 선별하는 기술이다. 

코히어는 자사가 보유한 임베딩 기반 리랭크 기술이 120개 언어를 다룰 수 있다며 “특히 번역 부분에서 타사 프론티어급 모델(각 기업 최상위 AI 모델)과 비슷한 성능을 보인다”라고 밝혔다.

● “한국은 가장 역동적인 기업용 AI 시장”

왼쪽부터 프랭크 오다우드 코히어 CRO, 장화진 아시아태평양 총괄 대표 사장. 코히어 제공

시장 전망도 이러한 흐름을 뒷받침한다. 컨설팅업체 맥킨지는 소버린 AI 시장이 2030년까지 5000억~6000억 달러 규모로 성장해 전체 AI 지출의 30~40%를 차지할 것으로 전망했다.

기업과 기관의 도입 사례도 늘고 있다. 캐나다 왕립은행(RBC)은 코히어의 금융 특화 플랫폼을 도입했으며, 코히어는 “5만 명 이상의 사용자 가운데 4만5000명이 실제 활성 사용자로 전환됐다”고 소개했다.

코히어는 베이스 모델 제공을 통한 자체 모델 공동 개발에도 힘쓰고 있다. 국내에서는 LG CNS와 공동 제작한 ‘집현’과 ‘LG 엑사원’, 일본에서는 후지쯔와 협력해 일본어 특화 거대언어모델(LLM) ‘타카네(Takane)’를 공동 개발했다. 델(Dell)과는 AI 에이전트를 자동으로 구성·배치하는 턴키 솔루션을 구축해 델의 ‘AI 팩토리’ 사업에도 참여하고 있다.

코히어 제공

장화진 대표는 “아시아태평양은 전 세계에서 가장 역동적인 기업용 AI 시장 중 하나”라며 “코히어는 현지 파트너들과 장기적인 소버린 AI 역량을 구축하기 위한 투자를 지속하고 있다”고 말했다.

코히어는 추후 한국에 별도 법인을 설립해 상시적인 사업 기반을 구축하고, 연말까지 아시아태평양 지역 기술·영업 인력을 현재의 두 배로 늘릴 계획이다. 일본에서는 후지쯔와 협력을 확대하고, 싱가포르에서는 공공 부문 지원을 강화할 방침이다.

김영호 기자 rladudgh2349@donga.com

당신을 위한 뉴스