AI 챗봇이 금융 관련 질문에 ‘대부분’ 잘못된 답변을 내놓는다는 보도가 나왔다. 파이낸셜 타임스는 9월 21일 ‘AI 챗봇이 금융 질문에 대부분 잘못된 답을 한다’는 제목의 기사를 게재했다.
금융 질문 오답 문제 제기
파이낸셜 타임스가 공개한 제목은 AI 챗봇이 금융 관련 질의에 정확한 답변보다 오답을 내놓는 경우가 더 많다는 내용을 담고 있다. 다만 제공된 원문은 구독 안내 화면으로 제한돼 있어 어떤 챗봇을 대상으로 조사했는지, 질문이 몇 건이었는지, 오답률이 정확히 얼마인지는 확인되지 않는다. 제목에 제시된 ‘대부분의 시간(most of the time)’이라는 표현 외에 구체적인 수치와 조사 결과는 원문에 포함돼 있지 않다.
금융 질문은 투자 상품, 시장 정보, 수수료, 세금, 대출 조건 등 사실관계와 시점에 따라 답이 달라질 수 있는 내용을 포함할 수 있다. 그러나 이번 보도에 드러난 정보만으로는 어떤 유형의 질문에서 오류가 발생했는지, 답변의 오류가 단순한 숫자 착오인지 최신 정보 미반영인지, 또는 투자 판단에 영향을 줄 수 있는 잘못된 설명인지 구분할 수 없다. 사용된 AI 모델의 이름과 버전, 비교 대상이 된 기존 금융 정보 서비스, 평가 기준도 공개된 본문에서는 확인되지 않는다.
금융 분야 AI 활용에 제기된 한계
이번 보도는 금융 정보를 얻기 위해 AI 챗봇을 사용하는 방식에 주의가 필요하다는 문제를 제기한 것으로 해석할 수 있다. 다만 파이낸셜 타임스의 공개된 원문에는 금융회사나 AI 개발사의 공식 반응, 관련 규제기관의 입장, 실제 이용자 피해 사례가 제시돼 있지 않다. 따라서 이번 제목만으로 특정 기업이나 모델의 성능을 일반화하거나, 금융 분야의 AI 활용 전반이 부적절하다고 단정할 수는 없다.
향후 판단을 위해서는 조사 대상 모델과 질문 목록, 평가 시점, 정답 판정 방식, 오답 유형별 비중 등 세부 자료가 필요하다. 공개된 원문에는 후속 출시 일정이나 제품 가격, 모델 개선 계획도 담겨 있지 않다. 현재 확인 가능한 사실은 파이낸셜 타임스가 금융 질문에 대한 AI 챗봇의 오답 문제를 주요 제목으로 보도했다는 점과, 제공된 화면만으로는 그 근거가 된 실증 데이터의 내용을 확인하기 어렵다는 점이다.