AI 전환의 숨은 비용 '토큰'… 통신3사 최적화 경쟁으로 승부

[미디어펜=배소현 기자] 기업들의 인공지능(AI) 활용이 늘면서 '토큰 비용' 관리가 새로운 과제로 떠오르고 있다. 생성형 AI를 실제 업무에 적용하는 기업이 많아질수록 AI가 처리해야 하는 토큰도 함께 증가해 운영비 부담으로 이어질 수 있어서다. 통신업계도 기업의 AI 도입을 지원하는 데 이어 같은 업무를 더 적은 비용으로 처리할 수 있도록 토큰 사용량을 최적화하는 데 주목하고 있다.

13일 업계에 따르면 국내 통신사들은 인공지능 데이터센터(AIDC)와 기업 AX(AI 전환) 사업을 확대하면서 AI 운영 과정에서 발생하는 비용을 효율화하는 방안에도 관심을 높이고 있다. 기업들의 AI 활용이 본격화되면서 고성능 모델과 GPU를 확보하는 것만큼 이를 얼마나 효율적으로 사용하는지가 중요해지고 있다는 판단이다.

토큰은 AI가 이용자의 질문을 이해하고 답변을 생성하기 위해 텍스트를 나눠 처리하는 기본 단위다. AI가 얼마나 많은 정보를 처리했는지를 가늠할 수 있는 일종의 사용량 단위인 것이다. 이용자가 생성형 AI에 질문을 입력할 때뿐 아니라 AI가 답변을 만드는 과정에서도 토큰이 사용된다.

기업 입장에서는 이 토큰이 곧 비용과 연결된다. 주요 생성형 AI 서비스의 API는 입력하거나 출력하는 토큰 수를 기준으로 비용을 책정한다. 개인이 간단한 질문 몇 개를 던질 때는 체감하기 어렵지만 수많은 임직원이 업무에 AI를 활용하고 AI 에이전트가 여러 작업을 반복적으로 수행하면 처리해야 할 토큰 규모도 빠르게 커질 수 있다.

이에 기업 AI 시장에서도 무조건 성능이 높은 모델을 사용하는 것보다 업무에 필요한 성능과 비용을 함께 고려하려는 움직임이 나타나고 있다. 간단한 문서 요약이나 분류에는 상대적으로 작고 저렴한 모델을 활용하고 복잡한 분석이나 추론이 필요한 업무에는 고성능 모델을 배치하는 방식이다.

토큰 최적화는 같은 업무를 수행하면서 필요한 AI 성능은 유지하되 토큰 사용량과 비용을 낮추는 것이 핵심이다. 어떤 업무에 어떤 AI 모델을 사용할지 결정하고 기업의 목적과 예산에 맞춰 모델을 조합하는 방식 등이 대표적이다.

최근 AI 모델이 다양해진 것도 이러한 전략의 필요성을 키우고 있다. 높은 성능을 앞세운 대규모 모델부터 상대적으로 가볍고 비용이 낮은 소형 모델까지 선택지가 넓어지면서 모든 업무에 하나의 AI 모델을 적용할 필요성이 낮아지고 있다.

특히 AI 에이전트 확산은 비용 관리의 중요성을 더욱 높일 것으로 예상된다. 이용자가 질문 하나를 입력하고 답변 하나를 받는 기존 챗봇과 달리 AI 에이전트는 목표를 수행하기 위해 필요한 정보를 찾고 여러 단계를 거쳐 업무를 처리한다. 기업에서 에이전트 활용 범위가 넓어질수록 AI 모델 사용량과 이에 따른 비용도 함께 늘어날 가능성이 크다.

기업 AX 사업을 확대하고 있는 통신사들도 이 같은 변화에 주목하고 있다. 고객사에 AI 솔루션을 구축해주는 것에서 나아가 실제 운영 단계에서 기업이 부담해야 할 비용까지 낮출 수 있어야 AX 사업의 경쟁력을 확보할 수 있다는 판단이다.

특히 최근 KT는 이러한 수요를 겨냥해 '토큰팩토리' 전략을 추진하고 있다. 기업이 특정 AI 모델 하나에 의존하기보다 업무 목적과 비용에 맞춰 여러 AI 모델을 활용할 수 있도록 지원하고 토큰 사용을 최적화하는 구조를 구축한다는 구상이다.

통신사 입장에서 토큰 비용 효율화는 AIDC 사업과도 맞닿아 있다. 기업들의 AI 사용이 늘면 이를 뒷받침할 GPU와 데이터센터 수요도 커지지만 기업 입장에서는 막대한 AI 인프라를 얼마나 효율적으로 활용하느냐가 실제 투자 성과를 좌우할 수 있다.

SK텔레콤도 AIDC를 AI 사업의 핵심 축으로 키우고 있다. AI 인프라 규모를 확대하는 동시에 기업 고객의 AI 활용 수요를 끌어들이면서 인프라에서 실제 서비스까지 사업 영역을 넓히는 전략이다. AI 사용량이 증가할수록 고객사의 비용 부담을 낮추는 운영 효율 역시 향후 기업 AI 사업에서 중요해질 것으로 예상된다.

LG유플러스 역시 AIDC와 기업 AX 사업을 확대하고 있다. 기업마다 필요한 AI 모델과 인프라 규모가 다른 만큼 고객사의 업무 환경에 맞는 AI 구축과 운영 역량을 확보하는 것이 B2B 사업 확대의 관건으로 꼽힌다.

통신업계가 토큰에 주목하는 배경에는 기존 사업과의 접점도 있다. 통신사는 네트워크와 데이터센터 등 대규모 인프라를 운영하면서 이용량 변화에 맞춰 자원을 관리해온 경험을 갖고 있다. AIDC를 기반으로 기업 AI 사업을 확대하면서 이러한 운영 경험이 AI 자원 활용과 비용을 효율화하는 경쟁력으로 이어질 수 있다는 분석이다.

업계 내 한 관계자는 "AI 비용은 모델 가격만으로 결정되는 것이 아니라 업무를 처리하는 과정에서 발생하는 토큰 사용량과 모델 호출 빈도, 필요한 컴퓨팅 자원이 복합적으로 작용한다"며 "기업 단위로 AI 사용량이 커질수록 모든 업무에 최고 성능의 모델을 적용하는 방식보다 업무별로 적정 성능의 모델을 배치해 전체 운영비를 관리하는 역량이 중요해질 것"이라고 말했다.