계약서엔 DeepL, 빠른 검색엔 구글, ChatGPT는 주의해서 써라

AI 번역 도구 3종을 실제 문서 50개로 테스트했더니 '잘 틀리는 유형'이 각자 달랐다. 무조건 하나만 쓰면 사각지대가 생긴다.

도구마다 강한 문서 유형이 다르다

50개 문서 테스트에서 세 도구의 실패 패턴은 각각 다르게 나타났다.

• DeepL: 유럽어 번역 정확도 약 78% 수준. 영어·독어·불어 등 유럽어 계약서나 공식 문서에서 가장 일관된 품질을 보였다. 단, 유럽어 이외 언어에서는 강점이 줄어든다.
• Google Translate: 249개 언어를 지원해 언어 폭이 압도적으로 넓다. 낯선 언어의 문서를 처음 훑을 때 유용하다. 다만 전문 용어가 많은 문서에서 품질이 일관되지 않을 수 있다.
• ChatGPT: 자연스러운 문장을 만드는 데 강하지만, 기술 용어나 법률 용어가 포함된 문서에서 환각(hallucination) 사례가 확인됐다. 없는 말을 그럴듯하게 만들어내는 오류다. 계약서처럼 한 단어가 법적 효력을 가지는 문서에는 단독 사용을 피해야 한다.

문서 유형별로 어떤 도구를 선택할까

틀렸을 때 대가가 큰 문서일수록 도구 선택이 중요하다.

• 계약서·법률 문서: DeepL을 먼저 쓰되, 핵심 조항은 반드시 사람이 재확인한다. ChatGPT는 보조 검토용으로만 쓴다.
• 회의록·이메일: 세 도구 모두 실용적으로 쓸 수 있다. ChatGPT는 문맥이 긴 회의록을 자연스럽게 다듬는 데 강하다.
• 기술 사양서·매뉴얼: ChatGPT의 환각 위험이 가장 크다. DeepL이나 Google로 1차 번역 후 용어를 별도로 대조 확인하는 것이 안전하다.

한국어 성능 수치는 이번 테스트 데이터에 포함되지 않았다. 한국어 문서 번역 결과는 소스 원문에 데이터가 없어 직접 비교가 필요하다.