에스씨엠(SCM)이 맥(macOS)에 저장된 사진과 동영상의 장면을 AI로 검색하는 앱을 소개했다. 검색과 분석은 맥에서 이뤄지며 계정 가입이나 클라우드 업로드가 필요 없다고 프로젝트 측은 10월 4일 깃허브 저장소에 게시한 설명에서 밝혔다.
사진·영상 장면을 나눠 검색
앱은 입력 즉시 파일 이름의 키워드를 먼저 찾고, 이후 이미지 임베딩의 코사인 유사도를 바탕으로 시각적으로 맞는 결과를 골라낸다. 검색어와 파일 이름의 일치 여부를 별도로 반영하며, 모델별 점수 기준과 유사 이미지가 한꺼번에 노출되는 것을 줄이는 필터도 적용한다. 각 결과에는 시각적 일치인지 파일 이름 일치인지 표시되고, 세부 점수는 마우스를 올려 확인할 수 있다. 중국어·일본어·한국어 검색어는 겹치는 두 글자 단위로 나눠 검색한다.
동영상은 FFmpeg(FFmpeg)로 장면 전환 지점을 찾아 구간별 대표 프레임을 분석한다. 검색 결과는 해당 장면의 포스터 이미지와 시간 정보를 보여주며, 이를 열면 동영상이 그 시점부터 재생된다. 장면이 아닌 잡음성 결과가 지나치게 많이 표시되지 않도록 제한하고, 한 동영상에서 최대 3개 장면까지만 결과에 포함한다. 파일 경로와 크기, 수정 시각, 설정값을 기준으로 장면 분석 계획을 저장해 같은 파일을 다시 불러올 때 분석을 건너뛸 수 있다.
OCR·음성 기록도 검색에 활용
사진에서는 광학문자인식(OCR)으로 읽은 글자를 검색할 수 있다. 이 기능은 파일 이름이나 비전 모델에 의존하지 않아 AI 엔진이 준비 중이거나 작동하지 않을 때도 쓸 수 있다. 검색어와 일치하는 글자는 이미지에서 강조 표시된다. 영어는 기본 지원하고, 중국어 간체·번체와 일본어·한국어도 기본 언어 묶음에 포함된다. 추가 언어 팩은 한 번 내려받으면 오프라인에서 사용할 수 있으며, 언어별 용량은 약 2.4~5MB다.
동영상 음성은 위스퍼(Whisper)로 텍스트화해 검색한다. 기본 모델은 약 150MB인 tiny.en이며, 약 300MB인 base.en으로 바꿀 수도 있다. 음성 검색은 임베딩이나 유사도 기준을 사용하지 않고, 발화 한 줄의 정확한 구문 일치부터 같은 동영상 안에 검색어가 모두 등장하는 경우까지 세 단계로 결과를 나눈다. 검색 결과에는 일치한 발화가 표시되고, 해당 위치로 바로 이동할 수 있다. 사진에서 이메일 주소를 찾아 연락처 정보를 보여주는 기능도 제공한다.
맥에서 처리하고 설치도 지원
프로젝트 설명에 따르면 이미지 분석에는 ONNX 런타임(ONNX Runtime) 기반 모델 4종을 선택해 쓸 수 있다. 모델을 바꾸면 라이브러리 전체의 임베딩을 다시 계산하며, 작업이 끝날 때까지는 파일 이름 키워드 검색을 이용한다. 별도 설정에서 켜는 대화형 기능은 맥에서 실행되는 라마.cpp(llama.cpp) 보조 프로세스를 이용해 OCR 내용과 대화 기록, 파일 이름 검색 결과를 근거로 답한다. 답변에는 근거를 확인할 수 있는 번호 인용이 붙으며, 사용자가 기능을 켜기 전에는 관련 항목을 내려받거나 실행하지 않는다.
설치 안내에는 애플 실리콘과 macOS 12 이상에서 사용할 수 있는 홈브루(Homebrew) 방식이 소개됐다. 앱은 라이브러리·사진 검색·동영상 검색·대화형 기능 등을 포함한 설정 화면을 제공하며, 동영상 분석 밀도와 저장 공간·예상 소요 시간도 설정 과정에서 확인할 수 있다. 공개된 설명에는 앱 가격이나 향후 출시 일정, 외부 고객사 반응은 제시되지 않았다.