AI API에 고객 데이터를 넣고 있다면, 그 데이터가 어디로 가는지 확인했나

생성AI가 기업에 처음 들어올 때 암묵적 거래가 있었다. '기능은 지금, 통제는 나중에.' MIT Technology Review는 이 거래의 청구서가 이제 오고 있다고 분석한다. 고객 데이터가 내가 소유하지 않은 시스템, 내가 설정하지 않은 거버넌스를 통과하며 처리되고 있다.

에이전트 시대로 넘어오면서 리스크가 커진 이유

ChatGPT API, Claude API를 붙이면 서비스를 빠르게 만들 수 있다. 문제는 그 과정에서 고객 데이터가 어디로 어떻게 처리되는지를 확인하지 않은 채 넘어간 경우가 많다는 점이다.

MIT Technology Review에 따르면, 초기 생성AI 도입 단계에서 기업들은 써드파티 모델에 자사 데이터를 넣고 강력한 기능을 얻는 거래 를 선택했다. 에이전트가 자율적으로 행동하는 단계로 넘어오면서 이 구조의 리스크가 커졌다. 에이전트가 데이터에 접근하고, 외부 시스템을 호출하고, 스스로 판단을 내리기 시작하면 '데이터가 어디서 어떻게 쓰이는가'를 통제해야 하는 필요가 생긴다.

지금 당장 데이터 유출 사고가 난다는 게 아니다. 그러나 통제권 없이 에이전트를 확장하면 나중에 고치기가 훨씬 어렵다.

1인 빌더가 지금 확인할 수 있는 것

대기업 수준의 거버넌스 체계를 당장 갖출 필요는 없다. 하지만 최소한 다음 세 가지는 지금 확인해 두는 게 맞다.

• 학습 사용 여부 — 내가 API에 보낸 데이터가 해당 모델 훈련에 쓰이는가. OpenAI, Anthropic, Google 각각 정책이 다르다
• 데이터 보관 기간 — 요청 로그가 얼마나 보관되며, 삭제 요청이 가능한가
• 고객 데이터 포함 여부 — 내 서비스 사용자의 개인정보가 API 요청에 포함돼 전송되고 있지 않은가

서드파티 API 의존 구조가 반드시 나쁜 건 아니다. 다만 내가 어떤 거래를 하고 있는지 알고 써야 한다. 모르는 채로 쓰는 것과 알고 쓰는 것은 나중에 다른 결과를 만든다.