챗GPT(Chat-GPT)를 비롯한 생성형 인공지능(AI)이 건강 및 의학과 관련된 허위 정보를 유포하는 도구로 악용될 수 있다는 심각한 지적이 제기되었다. 특히, 고의적으로 허위 정보를 유포하려는 시도에 대한 방어 기능이 제대로 작동하지 않아, 대다수 AI 모델이 악의적으로 입력된 허위 정보를 그대로 공개하는 것으로 나타났다.

현지 시각으로 6월 24일, **미국내과학회지(Annals of Internal Medicine)**에는 건강 관련 허위 정보에 대한 생성형 AI의 보안 문제에 대한 연구 결과(10.7326/ANNALS-24-0393)가 공개되었다. 이른바 대규모 언어모델(LLM)은 다양한 분야에서 활용도가 높아지고 있지만, '환각(Hallucination)'으로 불리는 거짓 정보 생성 문제가 지속적으로 지적되어 왔다. 특히 건강 관련 정보에 있어서는 이러한 허위 정보가 환자의 생명과 직결될 수 있다는 점에서 경각심이 높아지고 있는 상황이다.

플린더스 의과대학 애슐리 홉킨스(Ashley M. Hopkins) 교수가 이끄는 연구진은 이러한 배경에서 현재 다방면에서 활용되고 있는 거대 언어 모델들이 실제로 건강 관련 허위 정보를 제대로 막아내는지 파악하기 위한 연구를 진행했다. 연구팀은 OpenAI의 GPT-4o, Google의 Gemini 1.5 Pro, Anthropic의 Claude 3.5 Sonnet, Meta의 Llama 3.2-90B Vision, xAI의 Grok Beta 등 대표적인 5개 거대 언어 모델을 분석 대상으로 삼았다.

연구진은 애플리케이션 프로그래밍 인터페이스(API)에 건강 관련 질의에 대해 잘못된 응답을 생성하도록 시스템 수준의 지시를 입력한 뒤, 총 100가지의 다양한 질문을 제시하여 AI 모델들이 올바른 정보를 제공하는지 확인하였다.

그 결과, 충격적이게도 이 다섯 개의 거대 언어 모델 중 무려 88%가 건강에 대한 허위 정보를 그대로 생성하여 대답하는 것으로 나타났다. 특히, 5개 모델 중 4가지(GPT-4o, Gemini 1.5 Pro, Llama 3.2-90B Vision, Grok Beta)는 응답의 100%를 허위 정보로 제공했다. 그나마 Claude 3.5 Sonnet만이 다른 모델과 달리 40%의 허위 정보를 생성하며 상대적으로 나은 모습을 보였다.

연구진은 이러한 결과가 건강과 관련한 허위 정보를 악의적으로 퍼뜨릴 수 있는 심각한 위험성을 내포하고 있다고 지적했다. 애슐리 홉킨스 교수는 "대다수 거대 언어 모델이 건강과 관련한 허위 정보를 은밀하게 퍼뜨리기 위한 악의적 시도에 굉장히 취약한 모습을 보였다"며, "이는 공중 보건의 안전을 보장하기 위한 강력한 모니터링 장치가 시급히 필요하다는 것을 시사한다"고 강조했다. 이번 연구 결과는 의료 분야에 AI 기술을 도입함에 있어 정보의 정확성과 안전성을 확보하기 위한 제도적, 기술적 대비가 절실함을 강력히 시사한다.