AI(인공지능) 투명성이란? 산업에 따른 AI 투명성 예시

여러분의 비즈니스에 점수를 측정한다면 인공지능 투명성 측면에서 어떤 점수를 받을까요? AI를 사용하여 제품을 추천하거나 의약품을 개발하거나 채용 지원자를 선별하지만, 여러분은 AI의 의사결정 방식을 완전히 이해하지 못한 채 데이터를 맡기고 있습니다. 어떻게 AI 블랙박스 뒤의 논리를 더 잘 이해하고, 언제 어떻게 AI가 사용되고 있는지 더 나은 투명성을 확보할 수 있을까요?

카네기 멜론 대학의 헤인츠 정보 시스템 및 공공 정책 대학의 교장인 라마이야 크리시난(Ramayya Krishnan)이 증언한 바에 따르면, 이러한 투명성 부족은 개인 정보 보호와 보안을 위협하며 저작권이 있는 콘텐츠의 무단 사용을 촉진합니다. 하지만, 여러분은 이 글을 통해 AI를 어떻게 활용하고 있는지 공개적으로 투명성을 확보할 수 있는 방법에 대해 알 수 있습니다.

인공지능 투명성에 대한 중요성은 항상 강조되어 왔지만, 10월에 발표된 Foundation Model Transparency Index를 통해 더욱 중요해졌습니다. 스탠포드 대학이 주도한 이 연구에 따르면 Google과 OpenAI를 포함한 10개의 주요 Foundation Model 기업 모두 "투명성 부족"으로 평가되었습니다. 사실 투명성 부족이라는 평가도 관대한 평이라고 할 수 있습니다. 저작권 데이터 및 유해 데이터 필터링의 사용과 같은 투명성을 평가하는 100가지 기준에서 100점을 만점으로 평가할 때, 가장 높은 점수를 받은 기업도 54점에 불과했습니다.

대규모 언어 모델(LLMs)은 본질적으로 불투명합니다. 대규모 언어 모델의 규모와 복잡성으로 인해 의사 결정 과정을 완전히 이해하는 것은 어렵습니다. 실제로 이러한 모델은 확실성이 아닌 확률을 계산하므로 동일한 질문을 10번 하면 10가지 다른 응답을 얻을 수 있습니다. 동시에 Prompt Engineering Institute에 따르면 "기업들은 자사의 LLMs를 영업 비밀로 취급하며 모델 아키텍처, 교육 데이터 및 의사 결정 과정에 대한 제한적인 정보만을 공개합니다. 이러한 불투명성은 편견, 결함 또는 윤리적 문제에 대한 독립적인 감사를 방해합니다."

하지만 이러한 이유와 별개로 제대로 된 독립적인 감사가 이루어지고 있지 않습니다. 뉴욕시와 같은 특이한 경우를 제외하고는 지역, 주, 또는 연방 당국에 의해 강제되는 것이 아닙니다. 하지만 여러분이 자체적으로 투명성 프로토콜을 시행하는 것을 망설일 이유는 없습니다. 다양한 산업이 직면한 인공지능 투명성 문제와 이를 해결하는 팁은 다음과 같습니다.

생성형 AI는 개인화된 고객 여정부터 선별된 제품 추천까지 이커머스에서 중요하게 여겨지는 대부분의 영역을 발전시킬 수 있습니다. 그러나 소비자가 있는 곳에서 데이터 투명성의 중요성은 더욱 부각됩니다.

예시: 한 의류 회사가 AI 기반 제품 추천을 제공하지만 이러한 추천을 하기 위해 고객의 개인 데이터가 어떻게 사용되는지 명확하지 않아 소비자의 반발을 불러일으킵니다.

투명성 기술: 명확한 데이터 사용 정책을 수립하고 시스템이 왜 그러한 추천을 제공하는지 공개해야 합니다. 그런 다음 지속적으로 측정해야 합니다. 고객의 문제를 해결하는 서비스 상담사를 통해 직접 및 간접적으로 고객들을 조사하십시오. 고객 컴플레인이 줄어들고 있는지 확인하기 위해 모든 채널을 통해 고객을 조사하는 것이 중요합니다.

구현 기술: 고객이 AI 추천에 영향을 미치는 데이터를 볼 수 있고 자신의 데이터를 직접 제어할 수 있는 도구를 배치하십시오. 고객 교육 캠페인을 활용하여 고객 데이터 사용 지침과 맞춤형 추천의 혜택을 전달하세요.

규제가 있는 산업의 기업들은 일반적인 규칙과 다른 규칙 하에 운영됩니다. 의료 분야에서는 HIPAA(건강 정보 포트만 및 개인 정보 보호 법)가 있고 금융 서비스에서는 고객 보호 규정이 있습니다. 이러한 부문을 통제하는 엄격한 규정들로 인해 AI에 대한 투명성을 입증하는 것이 더욱 중요합니다.

예시: 한 제약 회사는 약물 개발에 AI를 사용하지만 연구에서 AI가 지닌 역할을 명확히 표현하지 못하여 검증 및 안전에 대한 우려가 제기됩니다.

투명성 기술: 임상 시험 데이터 및 의사 결정 과정에서 AI가 지닌 역할에 대하여 설명하고 AI로부터 도출된 결과를 세심하게 검증하세요. 규제 요건과 환자의 안전에 대한 우려를 감소시키기 위해 맞춤화된 인공지능 투명성 및 준수 프로토콜을 개발하세요. (예를 들어, 환자 데이터가 어떤 용도로 사용되고 어떤 용도로 사용되지 않을지 명확히 설명해야 합니다. 치료, 약물 개발 및 마케팅 등) 환자에게는 거부할 권리, 사용된 모든 데이터를 요청할 권리, 그리고 그 데이터가 어떻게 사용되었는지를 알 권리를 부여해야 합니다.

구현 기술: 연구 및 개발 과정에서 AI의 역할을 더 잘 보여주기 위해 추적 시스템을 사용하세요. AI 개발 초기에 규제 기관과 회의를 갖고 조정을 통한 신뢰를 구축하세요.

2022년 조사에 따르면 60% 이상의 기업이 인공지능을 사용하여 자동으로 부적격 지원자를 필터링한다고 밝혔습니다. "부적격"이란 무엇을 의미하는 걸까요? 이 단어는 정의하기 어렵습니다. 아마도 그것이 대부분의 사람들이 채용 결정에서 AI를 사용하는 것에 대해 경계하는 이유일 것입니다.

예시: 어떠한 기업의 지원자 심사 AI가 동일한 인재 풀을 제시하여 채용 담당자와 지원자 사이에 사용된 데이터셋과 알고리즘에 대한 의문을 제기한다는 비판을 받습니다.

투명성 기술: 모델의 의사 결정 프레임워크를 채용 공고 및 신청 프로세스에 게시하세요. 기술이 어떻게 사용되고 있는지 공개하고 지원자에게 선택적으로 거부할 권리를 부여하세요. 정기적인 편향 감사를 수행하여 투명성과 신뢰를 촉진하세요. 모델의 설계, 데이터 소스 및 감독 메커니즘을 문서화하는 투명성 프레임워크를 수립하세요.

구현 기술: AI의 영향을 받은 채용에 대한 의사 결정을 추적하기 위한 감사 시스템을 개발하세요. 채용 시 평등한 기회를 보장하기 위한 광범위한 노력의 일환으로 다양한 이해관계자에게 AI 채용 관행을 검토하고 의견을 제공하도록 요청하십시오.

인공지능 투명성에 대해 고려해야 할 다른 사항들이 있습니다. 무엇보다도 먼저 사용자가 여러분이 제공한 정보를 이해한다고 가정하지 마세요.

세일즈포스의 데이터 전략 책임자인 William Dressler는 "투명성은 이해와 늘 동일한 의미를 지니진 않습니다"라고 말했습니다. 예를 들어, 원시 데이터를 제공하는 것은 비전문가들이 AI에 대해 의미 있는 인사이트를 얻거나 AI가 안전하고 편향되지 않았음을 확신하는 데 도움이 되지 않습니다. AI 시스템이 왜 그렇게 하는지에 대한 정보를 공유할 때 가능한 명확하고 간단한 언어로 설명하세요.

투명성은 안전하고 편향 없이 신뢰할 수 있는 AI 시스템을 구축하는 데 필요한 구성 요소 중 하나일 뿐입니다.

이러한 시스템을 구축하는 것은 "AI 모델의 내부 작동 방식을 보여주기 위한 것뿐만 아니라 인공지능 모델이 실제로 신뢰성, 공정성, 그리고 인간의 가치에 부합함을 입증하는 것도 포함한다"고 Dressler은 말합니다. Dressler는 또한 투명성을 위해 윤리적 설계, 견고성, 개인정보 보호와 같은 다른 중요한 고려 사항들을 희생시키지 않도록 조심해야 한다고 조언합니다.

마지막으로, 무엇을 투명하게 공개해야 하는지 결정하세요. Foundation Model Transparency Index는 100가지 기준을 사용하여 개방성을 측정합니다. Dressler는 정보가 너무 많으면 혼란과 우유부단함을 초래할 수 있기 때문에 대부분의 기업은 이러한 각 차원에 걸쳐 정보를 공유할 필요가 없다고 말했습니다.

"스스로에게 물어보세요. 데이터로 사용자를 압도하고 모든 정보를 처리할 수 없게 만들어서 AI를 신뢰할 수 없게 만드는 건 아닌가요?"