AI 검색 도구, 여전히 인간의 도움 필요!

우리는 모두 알고 있듯이, AI 도구는 오늘날 많은 것을 할 수 있습니다. 하지만 인터넷 검색에서는 얼마나 잘 할까요?

이는 중요한 질문입니다. Future의 자체 연구(Future는 TechRadar를 발행합니다)에 따르면, 미국 응답자의 거의 삼분의 일이 이제 구글과 같은 전통적인 검색 엔진 대신 AI를 사용한다고 밝혔기 때문입니다.

일부는 ChatGPT와 같은 챗봇을 사용합니다. 다른 이들은 Perplexity처럼 검색과 연구를 위해 특별히 만들어진 AI 도구를 사용합니다. 우리가 의도적으로 AI 도구를 선택하지 않더라도, AI는 어쨌든 우리의 검색에 등장합니다. 현재 검색 결과의 상단에 나타나는 구글 요약들도 그 예입니다.

요약하자면, AI로 구동되는 검색은 어디에나 있습니다. 하지만 진정한 질문은: 실제로 잘 작동하느냐입니다. 연구자들이 이것을 묻기 시작했고, 초기 평가는 그리 긍정적이지 않습니다.

사람들은 AI 도구를 검색에 사용하고 있을 수 있습니다. 그러나 그것이 사용해야 한다는 것을 의미하지는 않습니다.

최근 테스트에서 우리는 OpenAI의 ChatGPT, 구글의 Gemini, Anthropic의 Claude, Perplexity AI 등 상위 AI 챗봇 네 가지를 비교해 얼마나 잘 검색을 처리하는지 평가했습니다.

결과는… 다양했습니다. 완전한 재난은 아니었으나, 모두 어느 정도 관련 정보를 검색할 수 있었습니다. 그러나 정확성은 좋지 않았습니다. 그 정보를 요약하는 방식도 종종 혼란스럽거나 그다지 도움이 되지 않았습니다.

Columbia Journalism Review에 보고된 Tow Center for Digital Journalism의 더 광범위한 테스트가 이를 뒷받침합니다. 그들의 팀은 ChatGPT, Perplexity, Copilot, Grok, Gemini를 포함한 주요 AI 모델 여덟 가지를 테스트했고 일관된 문제를 발견했습니다: “잘못된 정보를 확신 있게 제시하거나, 공조된 콘텐츠에 잘못된 출처를 명시하거나, 일관되지 않은 정보 검색 방식들”이 있었습니다.

총괄적으로, AI 모델들은 60% 이상의 질문에 대해 잘못된 답변을 주었습니다. Perplexity는 가장 정확했지만(연구 도구로 마케팅된 이유입니다), 여전히 37%의 답변이 틀렸습니다. Grok은 가장 저조한 성과를 보였으며, 충격적인 94%의 실패율을 기록했습니다. 더는 언급하지 않겠습니다.

Tow Center는 결과를 완전히 옳거나 완전히 틀린(또는 아무 답변도 하지 않음) 척도로 평가했습니다. 가장 심각한 사례 중 일부는 AI가… 단순히 꾸며낸 것으로 명확히 드러났습니다. 그러나 답변이 완전히 틀리지 않았더라도, 툴이 뉴스와 검색 결과를 재포장하는 방식에 큰 문제가 있었습니다.

출처 없는 검색은 검색이 아니다

이 재포장이 문제의 핵심입니다. AI가 잘못된 정보를 제공하지 않더라도, 콘텐츠를 요약하고 재구성하는 방식은 도움이 되지 않으며 종종 오도합니다. Tow Center는 다음과 같이 설명합니다:

“전통적인 검색 엔진은 일반적으로 중개자 역할을 하며 사용자를 뉴스 웹사이트와 다른 양질의 콘텐츠로 안내합니다. 반면에 생성적 검색 도구는 자체적으로 정보를 분석하고 재포장하여 원본 소스로의 흐름을 차단합니다.”

“이 챗봇의 대화식 출력은 정보 품질에 대한 심각한 근본적인 문제를 종종 숨깁니다. 이러한 시스템이 뉴스 콘텐츠에 접근하고, 이를 제시하고 인용하는 방식을 평가할 긴급한 필요가 있습니다.”

가장 명백한 문제 중 하나는 AI 도구가 출처를 인용하는 방식이 매우 부족하다는 것입니다. 예를 들어, ChatGPT는 종종 잘못된 기사에 링크하거나, 사이트의 홈페이지로 보낼 뿐만 아니라 인용을 생략하기도 합니다.

이는 두 가지 중요한 이유에서 문제입니다. 첫째, 출판사는 그들의 콘텐츠가 사용됨에도 불구하고 트래픽에서 손해를 봅니다.

둘째, 사실 확인이 번거로워집니다. AI 결과를 검증하는 유일한 방법 중 하나는 원본 소스로 돌아가는 것이며, 제공되지 않으면 그 과정이 훨씬 더 어려워집니다.

따라서 AI가 정보를 제공하지만 명확한 출처가 없다면, 모든 것을 구글을 통해 사실 확인해야 할 경우, 검색에 사용할 가치가 있을까요? 아마 아닐겁니다.

네, AI 도구는 계속해서 발전하고 있습니다. 그리고 Perplexity와 같이 일부는 다른 것보다 성능이 좋습니다. 그러나 가장 뛰어난 것조차도 여전히 인간의 감독이 필요합니다. 현재로서는, 검색에 있어서 봇들이 단독으로 날아다닐 준비가 되지 않았습니다.