AI 제품이 답변 오류를 사용자에게 경고하는 데 그치지 말고, 주장별 검증표와 원문 인용을 제공해야 한다는 제안이 나왔다. 이 주장은 9월 28일 공개된 개인 기술 게시물에서 제기됐다.
답변 오류를 사용자가 확인하도록 설계
게시물은 현재 AI 챗봇이 문제 해결 도구를 표방하면서도 답변의 신뢰성을 확인할 기능은 충분히 제공하지 않는다고 지적했다. 제미나이(Gemini), 클로드(Claude), 챗GPT(ChatGPT) 등이 답변에 오류가 있을 수 있으니 중요한 정보를 확인하라고 안내하지만, 무엇이 중요한 정보인지 사용자가 판단해야 한다는 것이다. 이 경고가 화면에서 작고 눈에 띄지 않는 문구로 제시되는 점도 비판했다.
대안으로는 AI가 제시한 각 주장 옆에 확인란을 두고, 사용자가 근거를 확인한 뒤 표시하도록 하는 방식을 제안했다. AI 답변과 사람의 확인 기록을 두 열로 나눠 놓으면 어떤 주장을 검토했는지 남길 수 있다는 설명이다. 게시물은 AI의 오류 가능성을 고지하는 것만으로는 부족하고, 실제 사용 과정에서 오류를 점검할 수 있는 도구가 함께 있어야 한다고 주장했다.
코딩 지원 도구에도 검증 절차가 필요하다고 봤다. 현재는 코드 검토 과정에서 오류 확인이 이뤄지지만, 작성자가 확인을 건너뛰고 검토자에게 부담을 넘길 수 있다는 지적이다. 테스트를 실행하기 전에 코드 변경분을 살펴볼 수 있는 기능도 제안했다. AI가 생성한 코드가 테스트에 들어가기 전 오류를 확인하면 불필요한 테스트용 컴퓨팅 자원 소모를 줄일 수 있다는 취지다.
출처와 인용을 답변보다 분명하게
게시물은 연구·정보 검색 결과를 제시할 때 AI가 만든 답변보다 출처 자료를 중심에 둬야 한다고 강조했다. 현재 챗봇은 인용을 요청받아도 목록 중간부터 출처 표기를 빠뜨리거나, 출처를 표시하더라도 알아보기 어려운 작은 글씨와 아이콘으로 제공하는 경우가 있다는 비판이다. 검색 결과를 바탕으로 답을 만드는 기술이 적용돼도 AI가 자료 내용을 왜곡할 수 있으므로, 결과를 권위 있는 정보처럼 보여서는 안 된다고 덧붙였다.
구체적으로는 검색 결과마다 출처를 별도 항목으로 보여주고, 사이트뿐 아니라 게시일과 가능하면 작성자 이름도 표시하자는 제안이다. AI가 요약을 덧붙일 경우에는 원문 인용보다 작은 글씨로 아래에 배치하고, 사용자가 정확성을 확인하기 전까지 요약을 덜 강조해야 한다고 했다. 인용문은 AI가 요약하거나 재구성한 문장이 아니라 일반적인 프로그램으로 원문에서 추출한 그대로여야 한다는 설명이다.
게시물은 프런티어 AI 개발사뿐 아니라 올라마(Ollama)에도 이런 비판이 적용된다고 적었다. 다만 특정 제품의 출시 계획이나 가격, 업계의 반응을 제시하지는 않았다. 글의 핵심은 연구나 소프트웨어 개발에 AI를 활용하려면 오류 가능성을 알리는 데서 멈추지 말고, 사용자가 답변과 출처를 직접 확인할 수 있도록 제품의 화면과 작업 절차를 설계해야 한다는 주장이다.