AI가 써 준 문단을 보고서에 그대로 붙였다가, 존재하지 않는 통계나 이미 바뀐 제도가 섞여 있어 곤란했던 적 있으신가요? AI 답변은 숫자, 고유명사, 출처 세 가지만 원문과 대조해도 큰 오류는 대부분 걸러집니다. 팀 보고서에 AI 초안을 쓰면서 실제로 걸러낸 사례를 바탕으로 확인 순서를 적었습니다.
이 글에서 확인할 것
- AI 답변이 틀리는 세 가지 방식
- 답변 유형별로 확인할 곳을 정리한 표
- 보고서에 옮기기 전 거치는 4단계와 팀 운영 팁
AI 답변은 세 가지 방식으로 틀린다
첫째는 없는 것을 만들어 내는 경우입니다. 그럴듯한 보고서 제목, 기관 이름, 조항 번호를 지어내는데 문장이 매끄러워서 의심하기 어렵습니다. 둘째는 오래된 정보입니다. 학습 시점 이후에 바뀐 제도나 요금, 담당 기관 이름이 예전 그대로 나옵니다.
셋째는 계산과 단위 실수입니다. 퍼센트와 퍼센트포인트를 섞거나, 합계가 맞지 않는 표를 만들거나, 원화와 달러 단위를 바꿔 쓰는 일이 생각보다 잦습니다. 세 가지 모두 문장만 읽어서는 티가 나지 않는다는 공통점이 있습니다.
제 경험상 가장 위험한 건 첫째입니다. 한번은 AI가 알려 준 보고서 제목을 그대로 인용했다가, 상사가 원문 링크를 달라고 해서 찾아보니 그런 보고서 자체가 없었습니다. 그 뒤로는 고유명사가 나오면 반드시 검색창에 먼저 넣어 봅니다.
확인했다고 생각하고 놓치는 자리
가장 흔한 실수는 AI가 붙여 준 링크를 열어 보지 않는 것입니다. 검색 기능이 있는 AI도 링크 주소는 맞는데 본문에 그 내용이 없는 경우가 있습니다. 링크가 있다는 사실만으로 확인이 끝났다고 여기면 안 됩니다.
두 번째는 질문 자체가 답을 끌고 가는 경우입니다. “A가 B보다 좋은 이유를 알려 줘”라고 물으면 AI는 반대 근거를 거의 꺼내지 않습니다. 세 번째는 같은 AI에게 “맞아?”라고 다시 묻는 것입니다. 같은 대화 안에서는 앞의 답을 정당화하는 쪽으로 기울기 쉽습니다.
팁 하나: 재확인은 새 대화창에서, 질문 방향을 바꿔서 하세요. “A가 틀렸다는 근거가 있다면 무엇인가”처럼 반대로 물으면 처음 답의 약한 고리가 잘 드러납니다.
답변 유형별 확인할 곳
아래 표는 업무 문서에 자주 들어가는 AI 답변 유형과, 각각 어디서 대조하면 되는지를 정리한 것입니다.
| 답변 유형 | 자주 틀리는 지점 | 대조할 곳 |
|---|---|---|
| 법·제도 설명 | 개정 전 내용, 조항 번호 | 국가법령정보센터 원문 |
| 통계 숫자 | 연도·단위·출처 기관 | 통계 기관 원표 |
| 보고서·논문 인용 | 존재하지 않는 제목 | 발행처 사이트 검색 |
| 회사·제품 정보 | 단종 제품, 옛 요금 | 공식 홈페이지 공지 |
| 계산·환산 | 단위 혼동, 합계 오류 | 엑셀로 직접 재계산 |
| 코드·수식 | 없는 함수, 버전 차이 | 공식 문서와 실제 실행 |
표에서 시간을 가장 아껴 주는 줄은 계산·환산입니다. AI에게 다시 계산을 시키기보다 숫자만 뽑아 엑셀에 넣어 보면 1분 안에 끝납니다. 저는 합계가 들어간 표는 예외 없이 이 방법으로 확인합니다.
보고서에 옮기기 전 거르는 4단계
먼저 초안에서 숫자, 날짜, 고유명사, 인용문에 형광펜을 칩니다. 확인해야 할 대상을 눈에 보이게 만드는 단계로, 보통 한 쪽짜리 초안에서 10곳 안팎이 나옵니다.
그다음 표시한 항목마다 원문 출처를 찾습니다. 위 표의 대조할 곳을 기준으로, 원문을 못 찾은 항목은 삭제하거나 “확인 중”으로 남겨 둡니다. 세 번째로 핵심 결론 한두 개는 다른 AI나 새 대화창에 반대 방향으로 물어 교차 확인합니다.
마지막으로 확인한 사람과 날짜를 문서 끝에 짧게 남깁니다. 나중에 내용이 틀린 것으로 드러났을 때 어느 단계에서 놓쳤는지 되짚을 수 있습니다. 사내에 AI 도구를 처음 들이는 단계라면 사내 AI 도구 도입 전에 정리하는 순서를 먼저 참고하세요.
팀에서 확인을 습관으로 만드는 방법
질문할 때부터 확인이 쉬워지게 만들 수 있습니다. “출처를 함께 적고, 모르는 부분은 모른다고 답해 줘”라는 한 줄을 질문 끝에 붙이면 지어낸 인용이 눈에 띄게 줄어듭니다. 답변에 기준 시점을 적어 달라고 하는 것도 오래된 정보를 걸러 내는 데 도움이 됩니다.
팀 단위라면 공유 문서 양식에 “AI 사용 여부”와 “확인 항목 수” 칸을 넣어 두세요. 제가 있던 팀은 이 칸을 넣은 뒤로 검토자가 어느 부분을 더 봐야 하는지 바로 알 수 있었고, 리뷰 시간이 오히려 줄었습니다.
회사 자료를 AI에 넣는 일 자체가 걱정이라면 입력 단계의 기준도 같이 정해야 합니다. 확인 절차는 출력 쪽 안전장치이고, 입력 쪽 안전장치는 별도로 필요합니다.
점검 목록과 정리
- 초안의 숫자·날짜·고유명사에 표시를 했는가
- AI가 준 링크를 직접 열어 본문을 확인했는가
- 법·제도 내용을 원문 사이트에서 대조했는가
- 합계와 단위를 엑셀로 다시 계산했는가
- 핵심 결론을 새 대화창에서 반대로 물어봤는가
- 원문을 못 찾은 항목을 지우거나 표시했는가
- 문서 끝에 확인한 사람과 날짜를 남겼는가
정리하면 AI 답변 사실 확인은 숫자·고유명사·출처를 표시하고 원문과 대조하는 습관 하나로 대부분 해결됩니다. 회사 자료가 AI로 새는 것까지 막고 싶다면 챗GPT 업무 보안 수칙도 함께 확인해 보세요. AI 답변을 믿었다가 낭패를 본 경험이 있으면 댓글로 남겨 주세요. 위 요약 이미지는 출처만 표기하시면 자유롭게 퍼가셔도 됩니다.
AI 초안은 숫자·고유명사·출처만 원문과 대조해도 큰 오류의 대부분이 걸러집니다.
