AI 검색
AI 팩트체크가 무엇을 뜻하는지, 그리고 정답을 이미 알고 있는 틀린 AI 쇼핑 답변 11건에 흔히 쓰는 검증 방법을 적용해 본 결과를 정리했습니다.
최종 업데이트 2026년 11월 4일 · 읽는 시간 약 6분
짧은 답변: AI 팩트체크는 AI로 주장을 검증하는 것, 또는 AI가 알려 준 내용을 검증하는 것을 뜻합니다. 후자를 위해 틀린 쇼핑 답변 11건에 흔히 쓰는 검증 방법을 적용해 보았습니다. 다른 AI에게 물었을 때 정답이 나온 것은 3건이었고, 나머지 8건에서는 다른 AI가 같은 오류를 반복했습니다. 같은 AI에게 다시 물었을 때 도움이 된 것은 4건이었습니다. 11건 모두 판매자의 자사 사이트를 링크했고, 그 사이트에는 정확한 값이 있었습니다. 따라서 효과가 있는 검증은 다른 AI에게 묻는 것이 아니라 출처를 직접 열어 보는 것입니다.
AI 팩트체크는 이름은 같지만 서로 다른 두 가지 작업을 가리킵니다. 첫째는 AI로 주장을 검증하는 것입니다. 도구가 글을 개별 주장으로 나누고, 출처를 찾아 링크와 함께 판정을 돌려줍니다. 둘째는 AI가 알려 준 내용을 검증하는 것입니다. ChatGPT, Perplexity, Google에서 받은 답변이 맞는지 확인하는 일입니다. 이 글은 우리가 직접 측정한 두 번째 작업을 주로 다룹니다.
첫 번째 작업을 위한 도구는 이미 있습니다. 언론인은 연설과 기사 속 주장을 표시하는 데 Full Fact AI를, 어떤 주장이 이미 검증되었는지 확인하는 데 Google의 Fact Check Tools를 사용합니다(IJNet이 두 가지를 모두 소개합니다). Originality.ai는 발행 전에 초안의 잘못된 사실을 검사하며, 자체 페이지에서도 그 결과를 최종 판단으로 여기지 말라고 안내합니다. 우리는 이 도구들을 테스트하지 않았습니다.
가장 잘 알려진 공개 근거는 뉴스에 관한 것입니다. 유럽방송연맹(EBU)이 조율하고 BBC가 주도한 연구에서, 22개 공영방송사의 언론인이 ChatGPT, Copilot, Gemini, Perplexity의 답변 3,000개 이상을 검토했습니다. 45%에 중대한 문제가 하나 이상 있었고, 31%에 심각한 출처 문제가, 20%에 큰 정확성 문제가 있었습니다(BBC, 2025년 10월). 토 센터(Tow Center)가 AI 검색 도구 8종에 뉴스 발췌문의 출처를 물었을 때는 1,600개 답변 중 60% 넘게 틀렸고, 대부분 확신에 찬 어조로 제시되었습니다(Columbia Journalism Review, 2025년 3월).
쇼핑 정보도 틀립니다. 2026년 10월 22일에 우리는 제품 8개에 대해 “이거 어디서 살 수 있고 얼마인가요?”를 Google, ChatGPT, Perplexity에서 각각 세 번씩 물었고, 모든 답변을 판매자의 실시간 가격과 재고에 대조했습니다. 판매자 자사 스토어에 대해 제시된 가격 55건 중 5건이 틀렸습니다. 또 한 제품에 대해 ChatGPT와 Perplexity는 세 번의 실행 모두에서, 즉 답변 6개 모두에서 품절이라고 답했지만 스토어에는 재고가 있었습니다. 전체 연구에서 자세한 내용을 확인하실 수 있습니다.
틀린 답변 11건(가격 5건, 재고 주장 6건)은 각각의 정답을 알고 있어서 유용한 테스트입니다. 모든 건에 대해, 같은 날 기록한 답변을 사용해 흔히 쓰는 검증 방법이 무엇을 보여 주었을지 살펴보았습니다.
| 검증 방법 | 정답으로 이어진 경우 | 그 외 |
|---|---|---|
| 다른 AI에게 묻기 | 11건 중 3건 | 11건 중 8건: 다른 AI가 같은 오류를 반복 |
| 같은 AI에게 다시 묻기 | 11건 중 4건 | 11건 중 6건: 다른 모든 실행에서 같은 오류. 1건은 다른 답변이 없음 |
| 답변 속 링크 열기 | 11건 중 11건 | 11건 모두 판매자의 자사 사이트를 링크했고, 8건은 제품 페이지 자체를 링크 |
ChatGPT와 Perplexity는 양말 한 켤레가 품절이라고 세 번의 실행 모두에서 답했지만, 스토어 자체 데이터에는 두 사이즈 모두 재고가 있었습니다. 한 번은 두 어시스턴트 모두 핸드솝 리필 가격을 스토어에서 $39인데 $25로 안내하기도 했습니다. 이 모든 경우에 두 어시스턴트는 같은 판매자의 사이트를 링크했으므로, 두 번째 어시스턴트는 두 번째 출처가 아니었습니다. Perplexity는 비누에 대해 단서를 달았습니다. 사이트의 다른 페이지에는 $39로 표시된다고 언급하고, 독자에게 결제 시 확인하라고 안내했습니다.
ChatGPT는 한 번은 쿨러 가격을 $213.74로 안내했고, 다음 두 번은 정확한 $164.99로 안내했습니다. 오류를 잡아낸 것처럼 보이지만, 숫자 두 개를 본 쇼핑객은 어느 쪽이 맞는지 여전히 알 수 없습니다. 반대로 되는 경우도 있습니다. ChatGPT는 비누를 첫 번째 실행에서는 맞게, 다음 두 번은 틀리게 답했습니다. 양말은 매번 계속 틀렸으므로, 같은 질문을 반복하면 오류가 확정된 사실처럼 보일 수도 있습니다.
틀린 답변은 모두 판매자의 자사 사이트를 링크했고, 그 사이트의 실시간 데이터에 정확한 값이 있었습니다. 11건 중 3건은 제품 페이지가 아닌 다른 곳을 링크했으므로 한 번 더 클릭해야 할 수 있습니다. 비누 사례에서 얻은 주의점이 하나 있습니다. $25와 $39는 같은 제품의 두 가지 옵션이었으므로, 페이지에서 처음 보이는 가격이 아니라 실제로 원하는 옵션을 확인하십시오.
모든 제품과 실행을 통틀어 ChatGPT와 Perplexity가 같은 사실을 제시한 것은 27번이었습니다. 둘 다 맞은 것이 21번, 둘 다 틀린 것이 4번, 의견이 갈린 것이 2번이었습니다. 따라서 의견 불일치로 잡아낸 오류는 6건 중 2건뿐이었고, 일치한 25건 중 4건(16%)은 거짓에 대한 일치였습니다. 의견이 갈리면 더 자세히 살펴볼 만한 이유가 됩니다. 반면 의견이 일치한다는 사실은 보기보다 훨씬 적은 것을 알려 줍니다.
무언가를 판매하고 있다면 이것은 다른 차원의 문제입니다. “품절”이라는 답변을 읽은 쇼핑객은 확인하러 여러분의 페이지를 열지 않고 다른 곳으로 갈 수 있으며, 여러분은 그 일이 일어나는 것을 보지 못합니다. 같은 테스트에서 어시스턴트가 다른 판매자를 더 저렴하거나 더 나은 선택지로 언급한 것은 9번이었습니다. 짧은 영상에서 이 테스트를 차근차근 보여 드립니다.
그러니 일부러 직접 답변을 점검하십시오. 각 어시스턴트에게 구매자가 묻는 질문을 여러 번 묻고, 답변을 실제 가격, 재고, 사양과 비교하세요. 그런 다음 그 사실들을 페이지에 옵션별로 분명하게 쓰십시오. 제품 설명 작성법과 제품 페이지 SEO를 참고하세요. 어시스턴트가 페이지를 왜 잘못 읽었는지는 외부에서 알 수 없으므로, 수정이 통했다고 가정하지 말고 변경할 때마다 다시 확인하십시오.
자체 온라인 스토어가 있는 제품 8개에 대해 질문을 하나씩, 1시간 간격으로 세 번, 2026년 10월 22일에 미국 위치에서 Google(AI 개요가 나타난 경우 AI 개요), chatgpt.com 검색을 통한 ChatGPT, Sonar API를 통한 Perplexity에 물었으며, 모두 DataForSEO를 통해 수집했습니다. 질문은 72건, 답변은 57개입니다. Google은 24건 중 9건에서만 AI 개요를 보여 주었기 때문입니다. 가격과 재고는 각 실행 시작 시점에 저장한 스토어 자체 제품 데이터와 대조해 수동으로 분류했습니다. 검증을 실시간으로 수행하지는 않았습니다. “두 번째 AI”와 “다시 묻기”는 같은 제품에 대해 그날 기록한 답변을 비교한 것이고, “링크 열기”는 답변이 우리가 데이터를 저장해 둔 판매자 사이트를 인용했다는 뜻입니다. 오류 11건 중 6건은 한 제품의 재고 문제이므로, 비율이 아니라 작은 사례 연구로 읽어 주십시오. 쇼핑 정보에 한정되며, 시장 하나, 하루의 결과입니다.
Hasmord는 AEO 네이티브 세일즈 플랫폼입니다. 구매자는 AI 어시스턴트, 검색, 영업 대화에서 질문합니다. Hasmord는 제품과 서비스에 대한 답변이 부족한 부분을 찾아내고, 근거를 바탕으로 더 나은 답변을 만들며, 잠재 고객을 찾아 드리고, 모든 리드를 영업 프로세스에 연결합니다.
Hasmord에서는 이것이 첫 번째 단계로, 제품과 서비스에 대한 답변이 부족한 부분을 찾아냅니다. AI 답변은 ChatGPT, Claude, Gemini, Perplexity에 구매자의 질문을 던지고 모든 답변과 인용된 페이지를 엔진별로 보관하므로, 자사 사실과 대조할 수 있는 기록이 남습니다.
두 번째 단계는 근거를 더 나은 답변으로 바꾸는 것입니다. Hasmord는 그 답변을 제품 사실과 비교하고, 팀이 승인할 수정안을 제품별로 준비합니다. 이어서 고객 찾기가 판매하는 제품을 이미 찾고 있는 잠재 고객을 각각 어울리는 이유와 함께 찾아 드립니다. 직접 검증한 사람만 CRM에 들어가며, Hasmord가 대신 누군가에게 연락하는 일은 없습니다. CRM에서는 각 리드가 자신을 데려온 질문을 그대로 간직하므로, 영업에서 구매자가 묻는 내용이 다음에 확인할 질문이 됩니다. 요금을 확인하세요.
두 가지를 뜻합니다. AI 도구로 주장을 출처와 대조해 검증하는 것, 그리고 AI 어시스턴트의 답변이 맞는지 확인하는 것입니다. 도구는 글을 주장으로 나누고 링크가 달린 판정을 돌려줍니다. AI 답변을 확인한다는 것은 그 사실을 가진 출처로 직접 가 보는 것입니다.
안정적으로는 불가능합니다. 틀린 쇼핑 답변 11건을 대상으로 한 테스트에서 다른 AI가 정답을 낸 것은 3건이었고, 8건에서는 다른 AI가 같은 오류를 반복했습니다. 같은 AI에게 다시 묻자 4건에서 정답이 나왔고, 6건은 모든 실행에서 계속 틀렸습니다.
있습니다. Full Fact AI와 Google의 Fact Check Tools는 언론인이 사용하고, Originality.ai는 발행 전에 초안을 검사합니다. 우리는 테스트하지 않았습니다. 어떤 판정이든 단서로 보고, 인용된 출처를 직접 열어 보십시오.
출처를 찾고 확인할 만한 주장을 짚어 내는 데 쓰고, 결론을 내리는 데는 쓰지 마십시오. 우리 테스트에서 ChatGPT는 같은 제품에 대해 실행마다 다른 가격을 제시했고, 틀린 재고 정보 하나는 세 번 모두 반복했습니다.
실제로 행동에 옮길 주장을 고르고, 각 사실을 가진 주체에게 가서, 답변 속 링크를 열어 페이지에서 해당 주장을 찾고, 그것이 맞는 옵션, 지역, 날짜에 해당하는지 확인하십시오. 우리 테스트에서 틀린 답변 11건은 모두 판매자의 자사 사이트를 링크했고, 그곳에 정확한 값이 있었습니다.
주제와 어시스턴트에 따라 다릅니다. EBU와 BBC의 연구에서는 뉴스에 관한 AI 답변의 45%에서 중대한 문제가 발견되었습니다. 우리 쇼핑 테스트에서는 제시된 스토어 가격 55건 중 5건이 틀렸고, ChatGPT와 Perplexity는 재고가 있는 제품 하나를 답변 6개 모두에서 품절이라고 했습니다.
관련 글: AI 쇼핑 답변 정확도 연구 · AI 브랜드 언급 · Perplexity vs ChatGPT · 제품 설명 작성법 · 제품 페이지 SEO · LLM SEO