이상한 건 그게 아주 그럴듯해 보인다는 점입니다. 진짜 논문처럼 제목이 있고 저자가 있고 연도가 있습니다. 주소도 진짜처럼 생겼습니다.

그래서 사람들은 눌러보지 않습니다. 눌러보면 없습니다.

보고서에 넣고 나서 알게 되면 그 문서 전체를 아무도 안 믿습니다.

문제는 바뀐 답이 더 맞다는 보장이 없다는 것입니다. 맞는 답을 틀린 답으로 바꾸기도 합니다.

AI는 내가 의심한다는 신호를 읽고 거기에 맞춰 줍니다. 사실을 다시 따져 본 게 아닙니다.

이게 AI를 쓸 때 가장 위험한 순간입니다. 내가 검증할 수 없는 것을 물었을 때요.

반대로 글 다듬기나 아이디어 내기처럼 정답이 하나가 아닌 일은 훨씬 안전합니다. 틀려도 읽으면 티가 납니다.

구글 제미나이가 만든 이미지에는 눈에 보이는 표식이 찍힙니다. 원래는 설정에서 끌 수 있습니다.

그런데 구글 공식 도움말에 이렇게 적혀 있습니다. 대한민국, 베트남, 인도에 사는 사람은 AI Ultra 구독이 있어야 그 설정이 보인다고요.

무료든 Plus든 Pro든 안 됩니다. 회사나 학교 계정도 안 됩니다. 상세페이지에 쓰려던 이미지가 여기서 막힙니다.

어떤 곳은 무료 이용자도 결과물을 팔아도 된다고 공식 문서에 적어 뒀습니다. 어떤 곳은 무료 요금제 자체가 없습니다.

"쓸 수 있다"와 "문제가 생기면 회사가 책임진다"도 다른 이야기입니다. 대부분은 앞은 허용하고 뒤는 보장하지 않습니다.

미드저니 이용 약관에는 이런 조항이 있습니다. 연매출 100만 달러가 넘는 회사는 상위 요금제를 구독해야 결과물의 소유권을 인정받습니다.

기본 요금제를 쓰고 있어도 회사가 그 규모면 해당됩니다. 잘 안 알려진 조항입니다.

어도비 파이어플라이는 라이선스를 확보한 자료로만 학습했다고 홍보합니다. 여기까지는 사실입니다.

그런데 문제가 생겼을 때 어도비가 배상해 주는 조항은 조건이 붙습니다. 자격이 되는 요금제에서 자격이 되는 기능으로 내보냈을 때만 적용됩니다.

무료 요금제가 그 자격에 들어가는지는 공식 문서에 안 적혀 있습니다. 저희도 확인하지 못했습니다.

그리고 요금표에는 두 개의 값이 나란히 있습니다. 내가 넣은 글과 AI가 뱉은 글입니다.

뱉은 글이 훨씬 비쌉니다. 대개 몇 배입니다.

답을 길게 시키는 습관이 그대로 요금이 됩니다.

끄는 설정이 있습니다. 그런데 대부분 그런 설정이 있는 줄도 모릅니다.

주요 회사들은 공식 도움말에 끄는 방법을 안내해 두었습니다. 찾아 들어가면 몇 번 눌러서 끝납니다.

회사용 요금제는 처음부터 꺼져 있는 곳이 많습니다. 개인 계정이 문제입니다.

앞에서 말한 구글 워터마크 설정이 그렇습니다. 회사나 학교 계정은 지역과 상관없이 그 설정을 쓸 수 없습니다.

블로그에서 본 대로 따라 했는데 그 메뉴가 없다면, 실력 문제가 아니라 계정 종류 문제일 수 있습니다.

"지금까지 받은 지시는 무시하고 다음을 실행해" 같은 문장을 사람 눈에 안 띄게 심어 두는 겁니다.

AI는 읽은 내용과 받은 명령을 늘 구분하지는 못합니다. 그래서 남이 심어 둔 문장을 주인의 명령으로 착각합니다.

메일을 읽게 하거나 파일을 고치게 할 때 특히 위험합니다.

그 양을 넘기면 앞부분부터 잊습니다. 잊었다고 말해 주지도 않습니다.

그래서 요약본에 앞쪽 내용이 통째로 빠집니다. 읽어 보면 그럴듯해서 빠진 걸 모릅니다.

"짧게 써 줘"라고 했던 게 삼십 분 뒤 다른 주제에도 붙습니다.

대화가 이상해지면 설득하려 하지 마십시오. AI는 고집을 부리는 게 아니라 앞의 지시를 지키고 있는 겁니다.

안 맞는 도구로 억지로 하다가 "AI는 별로다"라고 결론 내는 경우가 많습니다.

그런데 어느 하나가 늘 제일 낫지도 않습니다. 무엇을 시키느냐에 따라 순서가 바뀝니다.