AI가 지어낸 말을 걸러내는 세 가지 습관

• 목록
• 답변
• 글쓰기

AI는 모르는 것을 모른다고 말하기보다 그럴듯하게 채워 넣는 쪽으로 기웁니다. 이건 고장이 아니라 작동 방식입니다. 그래서 고치는 게 아니라 걸러 내는 습관이 필요합니다.

하나. 숫자와 이름은 항상 의심한다

지어낸 답이 가장 자주 나오는 곳은 정해져 있습니다.

• 가격, 날짜, 버전 번호 — 자주 바뀌는 값일수록 위험합니다
• 논문 제목과 저자, 판례 번호, 조항 번호 — 형식이 뚜렷해서 지어내기 쉽습니다
• URL — 존재하지 않는 주소를 아주 자연스럽게 만들어 냅니다
• "~에 따르면"으로 시작하는 문장 — 출처가 붙어 있으면 더 믿게 되는데, 그 출처부터 확인해야 합니다

반대로 개념 설명, 글 다듬기, 코드 구조 잡기처럼 정답이 하나가 아닌 일은 상대적으로 안전합니다. 틀려도 읽으면 티가 나기 때문입니다.

둘. 답을 받은 뒤에 한 번 더 묻는다

방금 답에서 네가 확신하지 못하는 부분만 골라서 말해 줘.
확신하는 이유도 같이.

이렇게 물으면 대개 스스로 약한 곳을 짚습니다. 여기서 짚힌 곳만 검증하면 되니 시간이 줄어듭니다.

더 세게 물으려면 이렇게 합니다.

네가 방금 한 답이 틀렸다고 가정하자.
어디가 어떻게 틀렸을 가능성이 가장 큰지 말해 줘.

셋. 검색이 붙은 도구와 아닌 도구를 구분한다

같은 질문이라도 웹을 실제로 찾아보고 답하는 도구와 배운 것만으로 답하는 도구는 결과가 다릅니다. 후자에게 오늘 가격을 물으면 예전 값을 오늘 값처럼 말합니다.

검색이 붙어 있어도 안심할 수는 없습니다. 링크를 달아 주면 그 링크를 눌러 보세요. 요약과 원문이 다른 경우가 드물지 않습니다.

실제로 도움이 되는 순서
1. AI에게 물어서 무엇을 확인해야 하는지 목록을 얻는다
2. 그 목록만 직접 확인한다
3. 확인한 것만 쓴다

AI를 답을 주는 도구가 아니라 확인할 목록을 만들어 주는 도구로 쓰면 틀릴 일이 크게 줄어듭니다.

한 가지 덧붙이면

"이거 확실해?"라고 물으면 AI는 대개 사과하고 답을 바꿉니다. 바뀐 답이 더 맞다는 보장은 없습니다. 압박에 반응한 것뿐일 수 있습니다. 그래서 "확실해?"보다 위에 적은 "어디가 틀렸을 가능성이 큰가" 쪽이 낫습니다. 전자는 태도를 묻고 후자는 내용을 묻습니다.