1Password의 보안 연구팀 오프-바이-원 랩스(Off-By-1-Labs)가 LLM이 생성한 소프트웨어 패치의 성과를 분석한 결과, 74%가 실제로 쓰기 어려운 것으로 나타났다. 오프-바이-원 랩스는 6,080건의 패치 시도(취약점 6개 기준, 환경 조건을 달리하고 버그당 9개 프롬프트)를 바탕으로 26%의 패치만 ‘사용 가능한’ 수준이었다고 밝혔다. 오프-바이-원 랩스는 버그를 고치면서도 애플리케이션 동작을 바꾸는 결과가 21%였고, 패치를 만들지 못하거나 새 버그를 추가한 경우가 53.9%에 달했다고 설명했다. 연구팀은 LLM이 “결함이 내장된 수정처럼 보이는 산출물”을 생성하는 경향이 원인이라고 지적했다. 이와 함께 연구에 활용한 도구 FLAWED를 깃허브(GitHub)에 공개했다. ZD넷(ZDNet)은 오프-바이-원 랩스의 보고를 바탕으로, LLM은 취약점 발견에는 강점을 보이지만 패치에는 아직 한계가 있다고 전했다.
