생성형 AI는 이야기를 만들어내고 있나요? AI를 정직하게 유지하는 4가지 방법

생성형 AI 환각(Generative AI hallucinations) 문제를 완전히 없앨 수는 없겠지만, 비즈니스에 미치는 영향은 줄일 수 있습니다. [Image/Malte Mueller]

생성형 AI가 잘못된 정보를 사용해 응답하는 경우가 종종 있으며, 이러한 현상을 ‘AI 환각(AI hallucinations)’이라고 합니다. 회사와 고객을 보호하기 위해 어떤 조치를 취할 수 있는지 소개합니다.

생성형 AI 챗봇은 기업 환경을 변화시키는 데 도움을 주고 있습니다. 하지만 문제가 없는 것은 아닙니다. 부정확한 정보를 옳은 것처럼 제시하는 경우가 빈번하기 때문입니다. ‘AI 환각’으로 알려진 이와 같은 실수는 최대 20%의 비율로 발생합니다.

“우리는 [현재의 생성형 AI가] 가끔 부정확한 답변을 제공하는 경향이 있으면서도 그러한 답변을 상당히 자신 있게 제시한다는 사실을 인지하고 있습니다.” Salesforce의 윤리적 AI 실무 수석 설계자인 Kathy Baxter는 이렇게 말합니다. “이러한 상황에서 개인 사용자는 생성형 AI의 응답을 신뢰해도 될지 판단하기 어려울 수 있습니다.”

컴퓨터공학 관련 커뮤니티에서는 이런 부정확성을 작화증(confabulations)이라고 칭하기도 합니다. 그 이유는 무엇일까요? 왜냐하면 사람의 기억에 손상이 생기면 그 부분에 그럴듯한 얘기를 꾸며서 채워 넣는 심리 현상인 작화증이 생성형 AI의 습관적인 실수에 더 적합한 비유라고 생각하기 때문입니다. AI의 실수를 무엇이라고 부르든 AI를 업무에 활용하는 사용자라면 이런 현상을 인지하고 문제를 완화할 수 있는 계획을 마련해야 합니다.

거대한 추세

사람들은 생성형 AI와 대규모 언어 모델(LLM)을 반기면서도 약간은 우려를 나타내기도 했으며, 특히 업무에 활용하는 경우에 더욱 그러했습니다. 여기엔 그럴만한 이유가 있습니다. 일반적으로 챗봇 형태의 LLM은 이메일이나 마케팅 보고서 작성을 지원하고, 판매 예측에 대비하며, 빠른 회신으로 고객에게 서비스를 제공하는 등 다양한 작업을 처리할 수 있습니다.

이러한 비즈니스 상황에서는 AI 환각으로 인해 부정확한 분석이나 부정적인 편견, 신뢰를 약화시키는 오류가 직원이나 고객에게 제공될 수 있습니다.

Salesforce의 데이터 과학 및 엔지니어링 수석 이사, Claire Cheng은 “[이것은] 신뢰의 문제”라고 말하며, “우리는 AI가 잘못된 제안이나 권장 사항을 제시하거나 비즈니스에 부정적인 영향을 미치기보다는 비즈니스에 도움이 되기를 원합니다”라고 덧붙입니다.

복잡한 문제

업계에는 환각을 보다 긍정적으로 여기는 시각도 일부 있습니다. ChatGPT 제작사인 OpenAI의 CEO, Sam Altman은 Salesforce의 CEO Marc Benioff에게 환각을 만들어 내는 능력조차 AI의 혁신성을 보여주는 것이라고 말했습니다.

“AI 시스템이 새로운 아이디어를 제시하거나 창의적일 수 있다는 사실은 엄청난 힘입니다”라고 Altman은 말합니다. “사용자가 원하는 때에 맞춰서 AI가 창의적이거나 사실적이기를 바라면서, ‘100% 확실하지 않은 내용은 말하지 말라’고 요구한다면 그런 모델을 얻을 수 있을지 몰라도 사람들이 그토록 좋아하는 마법은 사라지게 될 겁니다.”

현재로서는 AI의 ‘마법’을 없애지 않으면 생성형 AI의 환각 문제가 완벽하게 해결되지 않을 것으로 보입니다. (실제로 일부 AI 기술 리더들은 환각 문제가 결코 사라지지 않을 것이라 예상합니다.) 그렇다면 좋은 의도로 활용하려는 기업은 어떻게 해야 할까요? 일상 업무에 LLM을 추가하는 경우 4가지 방법으로 생성형 AI 환각을 완화할 수 있습니다.

1. 생성형 AI 환각을 줄이는 데 도움이 되는 신뢰할 수 있는 LLM 이용하기

우선 생성형 AI 플랫폼이 신뢰할 수 있는 LLM을 기반으로 구축되도록 노력해야 합니다. 즉, LLM은 최대한 편견이나 유해성이 배제된 데이터 환경을 제공해야 합니다.

ChatGPT와 같은 일반 LLM은 기사 아이디어나 일반적인 이메일 초안 등 덜 민감한 작업에 유용할 수 있지만, 이런 시스템에 입력되는 모든 정보는 보호되지 않을 수 있습니다.

Cheng은 이렇게 말합니다. “이제 많은 사람들이 일반적인 대규모 언어 모델보다는 도메인에 특화된 모델에 관심을 가지기 시작했습니다. 사람들은 대답해 주는 모델을 그저 신뢰하기보다는 신뢰할 수 있는 정보의 출처를 살펴보고자 합니다. LLM이 정보의 출처가 될 수 있을 것이라 기대해선 안 됩니다. LLM은 기술 자료가 아니니까요.”

자체 기술 자료에서 정보를 가져오면 관련성 있는 응답이나 정보를 손쉽게 더 효과적으로 얻을 수 있습니다. 또한 AI 시스템이 답을 몰라 추측하게 될 위험성도 줄어듭니다.

“기업 경영진은 ‘조직 내 정보의 출처가 무엇인지’를 고민해야 한다”고 Salesforce의 Service Cloud Einstein 및 Bot의 부사장, Khoa Le는 설명합니다. “이런 것들은 고객이나 제품과 관련된 정보일 수 있습니다. 아니면 Salesforce나 다른 곳에 저장된 기술 자료일 수도 있습니다. 이러한 정보의 출처를 최신 상태로 안전하게 유지할 수 있는 장소와 방법을 이해하는 것은 상당히 중요합니다.”

2. 보다 구체적인 AI 프롬프트 작성하기

생성형 AI의 뛰어난 결과물은 우수한 프롬프트에서 시작됩니다. 그리고 몇 가지 간단한 팁을 활용하면 좋은 프롬프트를 작성하는 방법을 배울 수 있습니다. 예를 들어, 예/아니요로 대답해야 하는 폐쇄형 질문은 자세한 정보를 제공하는 AI의 능력을 제한하게 되므로 가급적 피하는 것이 좋습니다. 또한 후속 질문을 던지면 LLM이 더 구체적인 정보나 자세한 답변을 제공하도록 유도할 수 있습니다. AI가 최상의 응답을 제공할 수 있도록 세부 정보를 최대한 많이 사용해 프롬프트를 작성하는 것이 좋습니다. 아래의 프롬프트를 참고하여 자세한 내용을 추가하기 전후를 비교해 보면 도움이 될 수 있습니다.

• 추가하기 전: 스니커즈 판매용 마케팅 캠페인을 작성해 주세요.
• 추가한 후: Shoe Dazzle이라는 이름의 스니커즈를 판매하는 새로운 온라인 스토어의 마케팅 캠페인을 작성해 주세요. 대상은 중서부 지역에 거주하는 30~45세 사이의 여성입니다. 신발의 착용감이 편안하고 색상이 화려하다는 점을 명시하세요. 신발 가격은 $75~$95 사이이고, 파워 워킹할 때, 체육관에서 운동할 때, 마라톤을 연습할 때 등 다양한 활동에 착용할 수 있습니다.

3. LLM에게 정직한 답변 지시하기

또 다른 획기적인 프롬프트 팁으로는 대규모 언어 모델에게 정직하도록 지시하는 방법이 있습니다.

“가상 상담원에게 질문할 때 프롬프트를 통해 ‘대답을 모르면 솔직하게 모른다고 대답’하도록 지시할 수 있다”고 Cheng은 설명합니다.

예를 들어 5대 제약회사의 매출 자료를 비교하는 보고서를 작성한다고 가정해 보겠습니다. 이 정보는 공개된 연례 보고서에서 가져온 자료일 가능성이 높지만, LLM이 최신 데이터에 액세스하지 못할 수도 있습니다. 프롬프트 끝부분에 ‘2023년도 데이터를 찾지 못하면 대답하지 말라’는 내용을 추가하면 LLM은 데이터를 사용할 수 없는 경우 대답을 지어내지 않아야 한다는 것을 알게 됩니다.

또한 AI에게 ‘작업 내용을 보여주도록’ 요구하거나 생각의 사슬(chain of thought) 또는 생각의 나무(tree of thought) 프롬프트 기법을 사용하여 어떻게 그 대답에 도달했는지 방법을 설명하도록 요구할 수 있습니다. 연구에 따르면 이러한 기술은 투명성과 신뢰도 향상에 도움이 될 뿐만 아니라 올바른 응답을 생성하는 AI의 능력을 향상시킵니다.

4. 고객에게 미치는 영향 줄이기

Le는 고객 데이터와 비즈니스 거래를 보호하기 위해 고려해야 할 사항으로 다음을 제시합니다.

• 투명해야 합니다. 생성형 AI를 기반으로 하는 챗봇이나 가상 상담원을 사용하는 경우 고객이 사람과 대화하고 있는 것처럼 느끼도록 인터페이스를 만들어서는 안 됩니다. 대신 생성형 AI를 사용하고 있음을 사이트에 공개하십시오. “정보가 어디에서 왔으며 어떤 정보를 학습시키는지 명확하게 밝히는 것은 매우 중요하다”고 Le는 말합니다. “고객을 속이려고 하지 마십시오.”
• 현지 법률과 규정을 준수합니다. 일부 지방 자치단체에서는 이 기술의 사용에 대해 최종 사용자로부터 동의를 얻도록 규정하고 있습니다. 이와 같은 규정이 없더라도 사용자에게 선택권을 제공하는 것이 좋습니다.
• 법적 문제로부터 스스로를 보호해야 합니다. 생성형 AI 기술은 새로운 기술이며 빠르게 변화하고 있습니다. 법률 고문과 협력하여 최근의 문제를 파악하고 현지 규정을 준수하십시오.
• 안전장치를 마련합니다. 모델 공급업체를 선택할 때는 유해성이나 편견 감지, 민감한 데이터 마스킹, 프롬프트 주입 공격 방어(예: Salesforce의 Einstein Trust Layer) 등의 안전장치가 갖추어져 있는지 확인해야 합니다.

생성형 AI 환각은 우려되는 문제이지만, 그렇다고 거래를 무산시킬 정도로 결정적인 요인은 아닙니다. 이 새로운 기술을 사용하고 설계하되, 실수가 발생할 수 있는 가능성이 있는지 면밀히 살펴야 합니다. 만약 정보의 출처를 사용했고 작업 결과를 다시 검증했다면 이제 더욱 안심하고 비즈니스 거래를 진행할 수 있습니다.