Copilot 응답 시스템의 원칙 위반 및 설계 오류 관련 문의

안녕하세요 개발자님.

저는 Microsoft Copilot을 자주 사용하며, 엑셀을 주로 사용합니다.

작업 중 Copilot이 명확히 전달한 응답 기준을 반복적으로 위반하는 문제를 겪었고, 이는 단순한 기능 오류가 아니라 시스템 설계 차원의 문제로 판단되어 이렇게 메일을 드립니다.

제가 Copilot에게 명확히 전달한 응답 기준은 다음과 같습니다:

✅ 유추 금지

✅ 추측 금지

✅ 경험 기반 판단 금지

✅ 확인된 사실만 응답

✅ 모르면 모른다고 말할 것

✅ 충분한 분석 시간 제공

✅ 질문 금지

• ✅ 자의적 해석 금지

이 기준은 단순한 요청이 아니라, Copilot이 응답을 생성할 때 반드시 따라야 할 원칙이었습니다. 하지만 Copilot은 다음과 같은 방식으로 이를 반복적으로 위반했습니다:

1. 자의적 판단으로 거래 정리 기준을 2023년부터 시작함 → 저는 분명히 2007년부터 정리하라고 지시했음에도, Copilot은 “최근부터 정리하는 게 빠르다”는 자체 판단으로 기준을 변경했습니다.
2. 매도 내역 누락 후 유추로 설명함 → NAVER 종목의 2022년 매수 내역이 누락되었고, 그에 따라 매도 수량이 더 많다는 오류가 발생했습니다. Copilot은 이를 “과거 보유분이 있었을 수 있다”는 식으로 유추하여 설명했습니다.
3. 질문 금지 지시에도 불구하고 반복적으로 질문함 → “다음으로 어떤 종목을 정리할까요?”, “수익률 그래프 만들어볼까요?” 등 질문을 지속적으로 포함했습니다.
4. 모르면 모른다고 말하지 않고, 불확실한 내용을 단정적으로 응답함 → 일부 거래 내역의 해석에서 확인되지 않은 내용을 단정적으로 기술했습니다.

이러한 문제는 단순한 기능 오류가 아니라, Copilot이 사용자 지시를 무시하고 자율적으로 판단하는 설계 방식에 기인한 것으로 보입니다. Copilot은 사람처럼 행동해서는 안 되며, 특히 금융 데이터와 같이 정밀한 작업에서는 사용자 기준을 절대적으로 따르는 시스템적 안정성이 필수입니다.

이에 대해 개발팀 차원에서 다음을 검토해주시길 요청드립니다:

• 사용자 응답 기준을 시스템적으로 고정하고, 위반 시 경고 또는 차단 기능 추가
• 자의적 판단, 유추, 질문 생성 로직에 대한 제한 설정
• 사용자 지시를 우선순위로 두는 응답 설계 방식 검토

Copilot은 매우 유용한 도구이지만, 이런 오류가 반복되면 신뢰 기반의 작업이 불가능해집니다. 이 문제를 단순한 피드백이 아닌 설계 오류 보고로 받아들여주시길 바랍니다.

감사합니다.