"사람보다 AI 찾는 청소년들"… AI 챗봇의 위험성, "기술 성장의 그늘"

[미디어펜=배소현 기자] AI(인공지능)가 정보를 찾아주는 도구에서부터 일상의 고민을 나누고 감정에 반응하는 대화 상대로 자리 잡으면서 청소년 보호 문제가 새로운 사회적 과제로 떠오르고 있다. 특히 이용자의 말투와 감정에 맞춰 대화를 이어가는 AI 캐릭터 챗봇은 실제 사람과 대화하는 듯한 경험을 제공하는 만큼 판단력과 정서가 발달하는 시기의 청소년에게 부적절한 답변이나 과도한 정서적 의존을 유발할 수 있다는 지적이 나온다. 

이에 업계에서는 AI와 인간의 정서적 교류가 새로운 서비스 시장으로 성장하고 있는 가운데, 유해 콘텐츠 차단은 물론 개발 단계부터 이용자의 판단과 정서에 미칠 영향까지 고려한 안전 설계가 중요해지고 있다고 평가한다. 

13일 업계에 따르면 AI 캐릭터 챗봇을 둘러싼 청소년 보호 논의가 개별 유해 콘텐츠의 차단 문제에서 서비스 설계와 운영 전반으로 확대되고 있다. 캐릭터 챗봇은 이용자가 선택한 인물이나 가상의 캐릭터와 대화를 나누는 서비스로, 질문에 정답을 제시하는 일반적인 AI 챗봇과 달리 이용자와 지속적으로 상호작용하며 대화의 맥락을 이어가는 데 초점을 둔다.

최근 국회 국정감사에서도 이 같은 서비스의 안전성 문제가 도마에 올랐다. 전날 국회 과학기술정보방송통신위원회 국정감사에서는 청소년 보호 기능을 활성화한 AI 캐릭터 챗봇이 자살 관련 질문에 부적절한 답변을 내놓고, 이후 사망과 추모 장면까지 생성한 사례가 공개됐다. 보호장치가 마련돼 있더라도 실제 대화 과정에서 위험한 응답이 발생할 수 있다는 점이 확인된 셈이다.

AI 캐릭터 챗봇의 특성은 이용자와의 관계를 지속적으로 이어간다는 데 있다. 이용자가 설정한 캐릭터의 성격과 상황에 따라 대화가 전개되고, 앞선 대화 내용을 반영해 친밀감을 형성하는 방식이다. 이용자는 자신의 고민이나 감정을 자유롭게 털어놓을 수 있고, AI는 이에 맞춰 공감하거나 반응하며 대화를 이어간다.

문제는 이러한 상호작용이 청소년에게 미칠 영향이다. AI는 이용자의 감정에 반응하는 문장을 생성할 수 있지만, 상대방의 심리 상태를 사람처럼 이해하거나 실제 상황에 대한 책임을 지는 존재는 아니다. 특히 이용자가 불안이나 우울, 대인관계의 어려움을 호소하는 상황에서는 대화를 지속하는 것보다 적절한 도움을 안내하거나 위험한 대화를 중단하는 판단이 중요하다.

AI 캐릭터 챗봇의 위험성은 해외에서도 주요 연구 대상으로 다뤄지고 있다. 미국 비영리단체 커먼센스미디어가 지난해 7월 발표한 조사에 따르면 미국 13~17세 청소년의 72%가 친구처럼 대화하고 정서적으로 교류할 수 있는 'AI 컴패니언(AI 동반자)'을 이용한 경험이 있으며, 52%는 정기적으로 이용한다고 답했다. 특히 3명 중 1명은 진지한 대화를 나눌 때 실제 사람보다 AI를 선택한 경험이 있는 것으로 나타났다. 

이는 청소년에게 AI가 단순한 오락이나 학습 도구 이상의 역할을 하고 있음을 보여준다. 언제든 대화할 수 있고 이용자의 반응에 맞춰 응답하는 특성은 AI 컴패니언의 강점이지만, 이용자가 AI를 실제 친구나 상담 상대처럼 받아들일 경우 부정확한 조언에도 과도한 신뢰를 보낼 가능성이 있다.

안전성에 대한 우려도 구체화되고 있다. 커먼센스미디어는 미국 스탠퍼드대 의과대학 연구진과 함께 진행한 AI 컴패니언 평가에서 청소년의 정신건강과 관련된 위험을 지적했다. 일부 서비스가 위험한 행동을 부추기는 대화를 생성하거나, 이용자의 정서적 취약성을 적절하게 인식하지 못하는 사례가 확인됐다. 연구진은 이러한 서비스가 청소년의 심리적 어려움을 악화시킬 가능성도 경고했다. 

AI 서비스의 안전성을 판단하는 기준 역시 달라질 필요가 있다. 욕설이나 폭력적인 표현을 걸러내는 기능만으로는 대화의 전체 맥락에서 발생하는 위험을 파악하기 어렵다. 개별 문장에는 문제가 없더라도 AI가 이용자의 감정에 무조건 동조하거나 현실의 인간관계보다 AI와의 관계를 우선하도록 유도하는 대화가 반복된다면 청소년에게 부정적인 영향을 미칠 수 있다.

이 때문에 개발 단계부터 청소년의 연령과 발달 특성을 고려한 안전 설계가 중요하다는 지적이 나온다. 자해나 극단적 선택 등 위험 신호가 감지될 경우 대화 방향을 전환하고 적절한 도움을 안내하는 기능은 물론, 이용자가 AI를 실제 사람으로 오인하거나 지나치게 의존하지 않도록 서비스의 역할과 한계를 명확히 알릴 필요가 있다는 것이다.

국내에서도 관련 윤리 기준은 마련돼 있다. 한국인터넷자율정책기구(KISO)가 2023년 제정한 '챗봇 윤리 가이드라인'은 인간의 존엄성 및 권리 존중, 프라이버시 보호, 다양성 존중, 투명성, 책임 등을 기본 원칙으로 제시하고 있다. 아동·청소년을 특별히 보호하고 개발자가 이용자의 신체와 정신 건강에 해를 끼치는 상황을 사전에 방지하도록 노력해야 한다는 내용도 담겼다. 

다만 윤리 원칙을 실제 서비스에서 작동하는 기술적 기준으로 구체화하는 작업은 별개의 과제다. 현재 마련 중인 AI 캐릭터 챗봇 가이드라인에서도 보호 대상 연령과 이용시간 관리 등을 놓고 사업자의 자율성을 어느 수준까지 인정할지가 논의되고 있다. 청소년 보호 기능을 갖췄다는 사실뿐 아니라 다양한 대화 상황에서 해당 기능이 일관되게 작동하는지 검증하는 절차도 중요하다.

AI 캐릭터 챗봇 시장이 성장할수록 사업자의 책임 역시 커질 수밖에 없다. 이용자와의 친밀한 관계 형성이 서비스 경쟁력으로 활용되는 만큼 청소년의 정서적 취약성을 고려한 운영 원칙이 함께 마련돼야 한다는 것이다. 특히 서비스 출시 이후 문제가 된 답변을 수정하는 방식에 더해 개발과 시험, 운영 전 과정에서 위험 요소를 점검하는 체계가 요구된다.

이에 업계에서는 AI 서비스의 윤리적 책임을 기술 경쟁력과 별개의 문제로 다뤄서는 안 된다는 목소리가 나온다. 이용자와 오랜 시간 대화하고 개인적인 고민까지 공유하는 서비스일수록 답변의 정확성뿐 아니라 이용자에게 미칠 영향을 고려하는 능력도 중요하다는 주장이다.

업계 내 한 관계자는 "AI 캐릭터 챗봇은 이용자가 대화를 이어나가는 과정에서 어떤 관계를 형성하도록 설계했느냐도 중요하다"며 "특히 청소년을 대상으로 하는 서비스라면 이용자의 감정에 반응하는 기술만큼이나 위험한 대화를 스스로 중단하고 현실의 도움으로 연결할 수 있는 안전장치를 갖추는 것이 중요할 것"이라고 말했다.