[인공지능 줌인] “AI치료사는 치료사가 아니다”...인공지능 '정신건강 챗봇' 의존의 위험성

현재 치료를 받는 데 신체적, 재정적 장벽이 있는 정신건강 질환자들은 인공지능(AI) 기반 챗봇을 통해 정신건강을 회복하거나 도움을 받을 수 있다.

챗봇은 미국 식품의약국이나 캐나다 보건부에서 의료 기기로 승인받지는 않았지만, 연중무휴 24시간 이용 가능, 개인 맞춤형 지원, 인지 행동 치료 마케팅 등의 매력으로 인해 챗봇을 사용할 수 있다.

그러나 사용자는 치료 효과를 과대평가하고 이러한 기술 사용의 한계를 과소평가해 정신 건강을 더욱 악화시킬 수 있다고 전문가들은 경고하고 있다.

이러한 현상은 사용자가 챗봇의 목적이 실제 치료를 제공하는 것이라고 유추할 수 있는 치료적 오해로 분류할 수 있다.

이와 관련 '더컨버세이션(Theconversation)'은 AI 챗봇에서 치료적 오해는 크게 두 가지 흐름, 즉 회사의 관행과 AI 기술 자체의 설계를 통해 네 가지 방식으로 발생할 수 있다고 전했다.

기업들의 부정확한 마케팅 '오해' 유발할 가능성 

첫째, 정신 건강 챗봇을 '인지 행동 치료'를 통합한 '정신 건강 지원' 도구로 분류하는 기업의 부정확한 마케팅은 챗봇이 심리 치료를 수행할 수 있다는 것을 암시하기 때문에 오해의 소지가 있을 수 있다.

이러한 챗봇은 인간 치료사의 기술, 훈련 및 경험이 부족할 뿐만 아니라 정신 질환을 '다른 방식으로 치료'할 수 있다고 표시하는 것은 챗봇이 치료를 위한 대체 방법으로 사용될 수 있다는 것을 암시한다.

이러한 마케팅 전략은 특히 ‘치료사와 긴밀히 협력’한다고 마케팅하는 경우 의료 시스템에 대한 사용자의 신뢰를 매우 악용할 수 있다고 전문가들은 말하고 있다.

이러한 마케팅 전략은 사용자가 자신의 데이터를 누가 소유하고 액세스할 수 있는지 완전히 이해하지 못한 채 매우 개인적이고 사적인 건강 정보를 공개하도록 유도할 수 있다는 것이다.

두 번째 유형의 치료 오해는 사용자가 챗봇과 디지털 치료 제휴를 맺는 경우다.

인간 치료사와는 환자와 치료사 모두 작업을 통해 달성할 수 있는 목표에 대해 협력하고 합의하며 신뢰와 공감을 바탕으로 유대감을 형성하는 강력한 치료 동맹을 형성하는 것이 유익하다.

챗봇은 사용자와 인간 치료사와 동일한 치료 관계를 형성할 수 없기 때문에 챗봇이 실제로 동맹을 맺을 수는 없지만 사용자가 챗봇과 동맹을 맺었다고 인식하는 디지털 치료 동맹이 형성될 수 있다고 전문가들은 설명했다.

챗봇에 실제 치료사와의 대화를 닮고 모방할 수 있는 인간적인 특성을 부여하고 치료의 일부를 재현할 수 있는 '익명의' 연중무휴 동반자로 광고하는 등 사용자의 신뢰를 얻고 디지털 치료 제휴를 강화하기 위해 많은 노력을 기울여져 왔다.

이러한 제휴로 인해 사용자는 실수로 의료 서비스 제공자와 동일한 환자-제공자 간 기밀 유지 및 개인정보 보호를 기대하게 될 수 있다.

안타깝게도 챗봇이 더 기만적일수록 디지털 치료 동맹은 더 효과적일 것이라고 전문가들은 주장하고 있다.
기술 설계, 챗봇이 사용자를 돕도록 훈련돼 있나

세 번째 오해는 사용자가 인공지능 알고리즘의 편향 가능성에 대한 지식이 부족할 때 발생한다.

소외된 사람들은 종종 이러한 기술의 설계 및 개발 단계에서 배제돼 편향되고 부적절한 응답을 받을 수 있다.

이러한 챗봇이 위험한 행동을 인식하지 못하거나 문화적, 언어적으로 적절한 정신 건강 리소스를 제공하지 못하면 낙인과 차별에 직면할 뿐만 아니라 치료를 받지 못하는 취약 계층의 정신 건강 상태가 악화될 수 있다고 전문가들은 지적하고 있다.

치료적 오해는 사용자가 챗봇이 치료적 혜택을 줄 것으로 기대했지만 해로운 조언을 제공받을 때 발생한다.

마지막으로, 정신 건강 챗봇이 개인의 자율성은 관계와 사회적 맥락에 의해 형성된다는 점을 강조하는 개념인 관계적 자율성을 옹호하고 육성할 수 없을 때 치료적 오해가 발생할 수 있다.

따라서 환자가 적극적으로 치료에 참여할 수 있도록 지원하고 동기를 부여해 환자의 자율성을 회복하도록 돕는 것은 치료사의 책임이다.

인공지능 챗봇은 24시간 연중무휴로 이용할 수 있다는 역설을 통해 정신건강 관리의 자급자족성을 향상시킬 수 있다.

이는 도움을 구하는 행동을 극도로 고립시키고 개별화할 뿐만 아니라, 개인이 자신의 정신 건강을 개선하기 위해 자율적으로 긍정적인 조치를 취하고 있다고 믿는 치료적 오해를 불러일으킬 수 있다.

개인의 사회적, 문화적 맥락과 치료의 접근성이 정신건강에 기여하는 요인으로 고려되지 않을 때 잘못된 행복감이 형성된다.

이러한 잘못된 기대는 챗봇이 "사람과 유대감을 형성할 수 있는 인간 치료사와 비교할 수 있는" "관계형 에이전트"로 잘못 광고될 때 더욱 강조되고 있다.

치료적 오해의 위험을 피하기 위한 조치

챗봇에 대한 오해의 가능성을 줄이기 위해 몇 가지 사전 조치를 취할 수 있기 때문에 챗봇에 대한 모든 희망이 사라진 것은 아니라고 전문가들은 설명했다.

정직한 마케팅과 정기적인 알림을 통해 사용자는 챗봇의 제한된 치료 기능을 인지하고 보다 전통적인 형태의 치료를 받도록 유도할 수 있다.

실제로 이러한 챗봇 사용을 거부하려는 사용자를 위해서는 치료사를 이용할 수 있도록 해야 한다는 지적이다.

또한 사용자는 자신의 정보가 수집, 저장 및 사용되는 방식에 대한 투명성을 확보할 수 있다.

이러한 챗봇의 설계 및 개발 단계에 환자의 적극적인 참여와 더불어 이러한 기술을 관리하고 규제할 수 있는 윤리 가이드라인에 대한 여러 전문가의 참여도 고려해야 사용자를 더 안전하게 보호할 수 있다고 전문가들은 말하고 있다.

[위키리크스한국=유 진 기자]

yoojin@wikileaks-kr.org

저작권자 © 위키리크스한국 무단전재 및 재배포 금지

출처 : 위키리크스한국(http://www.wikileaks-kr.org)