(CHI 2024 Best Paper 리뷰) LLM을 탑재한 대화형 검색 서비스를 쓰면 내 생각이 편향된다고?

–

정보 출처를 제공하거나, 심지어 사용자와 다른 의견을 가진 LLM 기반 대화형 검색을 활용해도 선택적 노출과 의견 양극화를 줄일 수 없었습니다. 일반적으로 전통적인 웹 검색 시스템을 사용할 때에 비해 대화형 검색 과정에서 더 긴 쿼리를 입력하게 되는데, 이것은 사회적 상호작용과 유사하며, 자신과 같은 의견을 가진 상대방과 더 많은 이야기를 하게 되는 것과 유사합니다. 더 나아가, 참가자들은 대화 검색 시스템을 활용하는 과정에서 자신의 의견과 같은 내용을 담은 정보 출처의 링크를 클릭하는 회수가 그렇지 않은 내용을 담은 링크를 클릭하는 회수보다 많았고, 읽는 시간도 더 길었습니다.

따라서, LLM 기반 응용 서비스를 만들 때에는 사람들의 행동을 관찰하면서 사회적 문제의식을 가지고 접근해야 합니다. 구체적으로 말하면, 우리는 LLM에 사전에 인코딩된 편향을 통해 Echo Chamber 효과를 부추겨서 정치적 또는 상업적으로 이득을 보려는 집단들이 만들어낼 수 있는 사회적 위험성을 심각하게 고려해야 합니다. 이러한 편향된 LLM은 대화형 검색뿐만 아니라 글쓰기 지원 기능, 챗봇, 소셜 미디어 봇 등에도 사용될 수 있습니다. 

더보기 >> LLM을 탑재한 대화형 검색 서비스를 쓰면 내 생각이 편향된다고?