AI에게 같은 질문을 두 번 했는데 숫자가 다르거나, 서로 다른 AI가 정반대 결론을 내놓으면 무엇을 믿어야 할까요? 더 자신 있게 말하는 답변을 고르기보다 숫자가 가리키는 대상부터 맞추는 편이 안전합니다. 이 글은 검색 시작 방법보다 이미 모은 자료끼리 충돌할 때 비교하고 기록하는 방법에 집중합니다.
1. 답변을 통째로 비교하지 말고 주장 하나씩 나누세요
“A 서비스는 사용자가 많고 비용도 저렴해서 가장 좋다”에는 사용자 수, 가격, 추천이라는 서로 다른 판단이 들어 있습니다. 사용자 수는 통계 자료, 가격은 해당 요금제의 공식 안내, 추천은 자신의 사용 조건으로 따로 확인해야 합니다. AI가 제시한 링크가 있다고 해서 문장 전체의 근거가 확보되는 것은 아닙니다.
OpenAI는 2024년 ChatGPT 검색 소개에서 답변에 웹 출처 링크를 제공하는 방식을 설명했습니다. 링크는 확인을 시작하는 지점입니다. 실제 페이지를 열어 해당 문장을 뒷받침하는지 읽는 과정까지 맡겨 주지는 않습니다. ChatGPT 검색 공식 소개
2. 근거 비교표에 넣을 일곱 항목
- 주장: 확인하려는 문장을 한 줄로 적습니다.
- 원출처: 통계를 만든 기관이나 기능을 운영하는 회사의 문서 주소를 남깁니다.
- 발표일과 기준일: 문서가 나온 날짜와 데이터가 가리키는 날짜를 나눕니다.
- 대상: 전 세계인지 국내인지, 가입자인지 실제 활동자인지 구분합니다.
- 단위: 명·건·원·달러와 월간·연간을 함께 씁니다.
- 조건: 세금, 할인, 무료 체험, 조사 표본 같은 제한을 기록합니다.
- 판정: 일치·비교 불가·추가 확인 중 하나로 표시합니다.
3. 숫자가 달라도 둘 다 맞을 수 있습니다
다음은 실제 기업 자료가 아닌 설명용 가상 사례입니다. 자료 A에 “누적 가입자 10만 명”, 자료 B에 “월간 활동자 2만 명”이라고 적혀 있다고 해 봅시다. 두 수치는 정의가 달라 서로 반박하지 않습니다. 이를 “사용자가 10만 명에서 2만 명으로 줄었다”로 바꾸면 잘못된 결론이 됩니다.
가격도 같습니다. “월 1만 원”이 연간 결제 시 월 환산 금액인지, 매달 결제할 때 청구되는 금액인지 확인해야 합니다. 비교표에는 원문의 과금 조건을 남기고, 조건이 맞지 않으면 최저가 순위를 매기지 않습니다. 실제 구매 판단에는 최신 공식 결제 화면을 다시 확인하세요.
확인 순서: 정의 → 시점 → 범위 → 값
먼저 같은 지표인지 확인하고, 다음으로 같은 기간인지 봅니다. 그 뒤 지역과 대상이 같은지 확인한 후에야 숫자 차이를 해석합니다. 최신 문서라도 예전 조사 결과를 인용할 수 있으므로 페이지의 수정일만으로 우선순위를 정하지 않는 것이 좋습니다.
4. 그대로 복사하는 비교 프롬프트
아래 자료만 사용해 주장별 근거 비교표를 만들어 줘. 열은 주장, 출처 URL, 발표일, 데이터 기준일, 대상, 단위, 제한 조건, 판정으로 해 줘. 원문에 없는 날짜나 숫자는 추정하지 말고 ‘확인 필요’로 표시해 줘. 정의나 기간이 다른 숫자를 우열 또는 증감으로 비교하지 마. 각 판정에는 근거가 있는 문단 제목을 적어 줘. 마지막에는 내가 원문에서 다시 확인할 질문 세 가지를 제시해 줘.
자료 A: [공개 자료의 필요한 부분과 URL]
자료 B: [공개 자료의 필요한 부분과 URL]
출처 페이지에 접근하지 못하는 도구라면 확인한 것처럼 쓰지 않도록 “URL을 열지 못했으면 접근 불가라고 표시”하는 조건도 넣으세요. 긴 문서를 넣을 때는 공개해도 되는 자료인지 먼저 확인하고, 계약서나 고객 정보는 승인 없이 외부 서비스로 보내지 않습니다.
5. 결론 문장에는 확인 범위를 남기세요
“A가 가장 좋다” 대신 “두 자료의 집계 대상이 달라 사용자 수의 우열은 판단하지 않았다”처럼 쓰면 이후 검토가 쉬워집니다. 자료가 충돌한 상태라면 결론을 유보하고 무엇이 더 필요한지 적습니다. 서로 다른 사이트라도 같은 보도자료를 옮겼다면 독립적인 두 근거로 세지 않는 편이 좋습니다.
공유 전 체크리스트
- 인용 링크를 직접 열어 주장과 일치하는 문장을 확인했는가?
- 발표일과 데이터 기준일을 구분했는가?
- 동일한 단위·지역·기간·대상을 비교했는가?
- 확인되지 않은 부분을 빈칸 대신 명시했는가?
- 추천과 객관적 사실을 별도 문장으로 썼는가?
FAQ
두 AI가 같은 답을 하면 검증이 끝난 건가요?
아닙니다. 같은 자료나 비슷한 오류를 사용할 수 있습니다. 답변 수보다 원출처와 집계 조건을 확인하세요.
최신 자료를 무조건 쓰면 되나요?
최신 자료가 비교하려는 지역이나 기간을 다루는지 먼저 확인해야 합니다. 목적에 맞는 자료인지가 중요합니다.
함께 읽으면 좋은 글
참고: OpenAI, Introducing ChatGPT search (2024-10-31). 비교표와 가상 사례는 실무 검토를 위한 자체 구성 예시입니다.