SCM이 Apple Photos에 도전하는 지점은 일상 언어로 사진을 찾을 수 있다는 새로운 주장이 아니다. Apple은 이미 그 기능을 제공한다. 이 오픈 소스 Mac 앱은 프로젝트 내보내기 파일과 외장 드라이브 아카이브 등 폴더에서 선택한 미디어에 시각·장면·텍스트·음성 검색을 결합한다. 공개 덕분에 처리 과정을 검토할 수 있지만 정확도나 보급이 입증된 것은 아니다. 초기 Hacker News 기록은 4점에 댓글이 없었다.
기존 디스크에 가벼운 색인만 추가한다고 생각한다면 중요한 조건을 놓친다. SCM은 가져온 미디어를 자체 관리 보관함으로 복사한다. 영상 전체에서 원하는 순간을 찾겠다고 하지만 문서에 설명된 시각 파이프라인은 디코딩된 모든 프레임을 개별 분석하지 않고 대표 프레임을 추출한다. 두 선택 모두 소프트웨어가 제공하는 기능과 운영 비용의 핵심이다.
모든 것을 아는 모델 하나가 아니라 여러 검색 경로
SCM 저장소는 Files, Scenes, OCR, Dialogue와 선택적 로컬 질의응답 모델을 설명한다. Files는 시각적 의미에 따라 사진이나 영상 전체를 찾고, Scenes는 타임코드가 있는 순간을 반환한다. OCR은 보이는 단어를 검색한다. Dialogue는 Whisper 전사에서 특정 시점의 정확한 단어를 찾는다. 선택적 Ask 계층은 원본 미디어의 모든 것을 독립적으로 이해하는 대신 이미 추출된 텍스트를 사용한다.
이 경로들은 상호 보완적이다. 다큐멘터리 편집자는 인터뷰 문장, 보조 영상의 빨간 차, 스캔한 동의서의 이메일 주소를 기억할 수 있다. 전사 검색, 시각 임베딩, OCR이 문제의 서로 다른 부분을 맡는다. “빨간 차 옆의 개”라는 시각적 연관이 작은 일련번호 인식을 보장하지는 않으며, 음성 인식이 잘못 기록한 문구는 전사 검색으로도 되찾을 수 없다.
SCM은 결과 설명에서 이런 구분을 일부 드러낸다. 파일 배지는 시각적 일치와 파일명 일치를 나누고, 대화 결과는 일치하는 전사 구절을 보여 준다. 점수와 도구 설명도 결과가 나온 경로를 밝힌다. 이는 오류 진단 수단이지 순위의 정확성을 증명하는 자료가 아니다. 사용자는 모든 누락을 똑같이 불가해한 AI 오류로 취급하지 않고 전사 실패와 시각 검색 실패를 구분할 수 있다.
저장한 검색 탭은 감시 폴더가 바뀌어도 질의와 모드를 유지한다. 스크린샷 보기는 외관만이 아니라 파일명, 메타데이터, 폴더 맥락, 수동 수정을 결합한다. 별도의 이메일 보기는 OCR이 여러 상자로 분리했거나 문장부호 오류로 손상시킨 주소를 재구성하려 한다. 이런 세부 기능은 일반 사진 갤러리 너머로 검색 범위를 넓히지만 OCR을 완벽하게 만들지는 않는다.
폴더로 범위를 정해도 별도 사본이 생긴다
미디어는 앱 가져오기, 끌어다 놓기, 감시 폴더로 들어온다. 프로젝트는 감시 폴더가 실시간 갱신되며 시작할 때 다시 검색된다고 설명한다. 복사 전에 SHA-256 콘텐츠 해시를 계산해 이름이 바뀐 중복을 알아내고 확장자를 믿는 대신 실제 미디어 유형을 확인한다. 캐시된 장면 계획도 다시 가져올 때 일부 작업의 반복을 줄일 수 있다.
사본은 애플리케이션 지원 디렉터리에 저장된다. 따라서 외장 아카이브는 색인만 참조하는 상태로 남지 않는다. 원본과 SCM 관리 사본이 공존하고 임베딩, 썸네일, 장면 미리보기, 전사, OCR 상자, 보조 파일도 추가된다. 수 테라바이트 영상의 저장 부담은 작은 스크린샷 모음과 크게 다르다. 임베딩 버전 스냅샷도 공간을 쓰지만 SCM은 이를 열 개로 제한한다.
프로젝트가 설명하는 배포판은 Homebrew를 통해 macOS 12 이상 Apple silicon Mac을 지원한다. Electron으로 앱을 패키징하고 React로 화면을 구성하며 별도 작업 프로세스가 시각·OCR·음성을 처리한다. MIT 라이선스로 코드, 빌드와 테스트를 검토하고 수정할 수 있다. 그렇다고 검토하지 않은 배포 파일이나 의존성이 안전하다거나 한 유지 관리자가 모든 상위 구성 요소의 변화를 계속 감당할 수 있다는 뜻은 아니다.
Photos와의 비교도 정확해야 한다. Apple Photos 문서는 이미 자연어로 이미지와 영상의 주요 순간을 찾고 사진·영상·스크린샷·즐겨찾기·키워드로 거르는 기능을 설명한다. Photos는 사람, 반려동물, 앨범, 편집, 추억, iCloud도 통합한다. SCM의 더 좁은 기회는 그 보관함 밖의 제작 폴더, 카메라 카드 백업, 고객 아카이브를 사용자가 검색 대상으로 정하는 데 있다. 대부분의 사용자에게 Photos를 대체한다는 증거는 아니다.
장면 검색이 실제로 추출하는 프레임
FFmpeg가 먼저 숏 경계를 분석한 뒤 SCM이 선택한 밀도에 맞춰 구간 계획을 만든다. 프리셋은 60초마다 한 검색 지점부터 2.5초마다 하나까지다. 기본 균형 설정은 30초 간격과 명시된 8~128개 구간 예산을 사용한다. 각 구간의 중간 프레임을 임베딩하고 미리보기 이미지를 보관한다. 텍스트 질의 역시 수치 표현으로 바뀌어 저장된 프레임과 비교·정렬된다.
전체 영상 파일 검색은 다른 요약을 쓴다. 영상 길이의 20%, 50%, 80%에서 프레임을 추출한 뒤 임베딩을 평균낸다. 파일의 전체적 성격은 나타낼 수 있지만 모든 특이한 장면을 잡지는 못한다. 기억하는 순간에는 Scenes가 적절하다. 그 모드에서도 1초짜리 제목 화면, 지나가는 번호판, 긴 무편집 숏에 잠깐 등장하는 사람은 대표 프레임 사이에 놓칠 수 있다.
계산상 이유는 명확하다. 초당 30프레임인 30분 영상에는 54,000프레임이 있다. 모두 색인하면 처리량과 색인 크기가 늘고 중복 정보도 많이 남는다. 더 촘촘히 추출하면 빈틈을 줄이지만 시간과 저장 공간이 더 든다. 표본 색인이 완전한 프레임별 포괄성을 보장하는 시스템으로 바뀌는 것은 아니다.
SCM은 노이즈 게이트, 모델별 보정 임계값, 유사 중복 필터를 적용하고 영상 하나의 장면 결과를 세 개로 제한한다. 다양성을 높이고 약한 일치를 억제할 수 있지만 같은 파일의 여러 유효한 순간을 숨길 수도 있다. 비슷한 색, 구도, 학습된 연관이 높은 순위를 받아도 원하는 대상을 식별한 것은 아닐 수 있다. 모든 프레임을 이해했다고 약속하기보다 장면 지도라고 설명하는 편이 정확하다.
모델 선택은 속도와 동작을 함께 바꾼다
기본 시각 엔진은 입력 336픽셀의 CLIP ViT-L/14이며 다운로드 크기는 약 435MB다. OpenAI의 CLIP 개요는 모든 개념에 수동으로 표를 붙이지 않아도 검색할 수 있는 이미지·텍스트 연관 학습을 설명한다. SCM은 세 종류 SigLIP도 제공한다. 관련 SigLIP 2 연구는 다국어 이해, 이미지·텍스트 검색과 위치 파악을 강조하지만 연구상의 특성만으로 개인 아카이브 정확도를 입증할 수는 없다.
프로젝트가 보고한 CPU 추론은 가장 빠른 선택지에서 이미지당 약 50~100밀리초, 느린 선택지에서 약 200 또는 480밀리초다. 여러 Mac을 독립적으로 비교한 벤치마크가 아니다. 모델을 바꾸면 백그라운드에서 임베딩을 다시 만들고 그동안 SCM은 일시적으로 파일명 검색으로 돌아간다. 따라서 변경되지 않은 색인에서 관련성만 비용 없이 전환하는 기능이 아니다.
OCR은 영어와 추가 35개 언어 옵션을 제공하지만 언어 팩이 모든 해상도, 대비, 글꼴과 방향에서 인식을 보장하지는 않는다. Whisper는 억양, 겹친 목소리, 소음, 전문 용어를 오인할 수 있다. 시각 임베딩은 사회·문화적 편향을 이어받을 수도 있어 CLIP 모델 카드는 사용 영역별 충분한 시험을 요구한다. “긴장된 회의”에는 해석이 필요하고 계약 승인자를 식별하려면 픽셀에 없는 지식이 필요할 수 있다.
그래서 혼합 성공률보다 모드별 평가가 유용하다. 목표 순간을 미리 알고 결과를 보기 전에 질의를 작성하면 Scenes, Files, OCR, Dialogue 각각의 재현율, 잘못된 일치와 결과 도달 시간을 확인할 수 있다. SCM에는 단위 테스트, Electron 스모크 테스트와 벤치마크 스크립트가 있지만 소프트웨어 회귀 점검은 대표성 있는 독립 검색 벤치마크가 아니다.
로컬 개인정보 보호도 신뢰를 없애지는 않는다
SCM은 계정, 원격 측정, 미디어 업로드가 없다고 말한다. 필요한 시각 가중치, OCR 데이터, Whisper 파일을 내려받으면 로컬 처리가 가능하고 시각 색인은 오프라인으로 작동할 수 있다. 선택적 언어 모델은 활성화 전까지 꺼져 있으며 추출한 대화·OCR·파일명 근거를 받는다. 보조 서비스는 일반적으로 같은 컴퓨터의 연결만 허용하는 루프백 인터페이스를 사용한다.
프로젝트에 따르면 Ask는 로컬 근거를 인용하고 근거가 없으면 생성 전에 멈춘다. 이는 근거 없는 답변으로 가는 한 경로를 줄이지 모든 오류를 막지는 않는다. 작은 로컬 모델도 실제 전사를 잘못 요약할 수 있다. 인용은 원본 미디어로 돌아가는 길이지 검증을 대신하지 않는다. 미디어 중심 개인 지식 베이스와 비슷하지만 검색과 답변 생성은 여전히 다른 신뢰성 문제다.
배포에도 별도의 신뢰 경계가 있다. Homebrew 지침은 프로젝트 tap이나 cask를 신뢰하도록 요구하고 macOS 격리 처리에 영향을 준다. Mac App Store 심사와 같지 않다. 서명되지 않은 로컬 빌드는 경고를 띄울 수 있다. 코드 서명은 개발자를 식별하고 서명 후 변경 여부를 확인하는 데 도움이 되지만 본질적 안전을 증명하지 않는다. SHA-256도 예상한 바이트와 일치하는지 확인할 뿐 그 바이트를 신뢰할 수 있는지는 증명하지 않는다.
의존성 사슬에는 Electron, FFmpeg, ONNX Runtime, Tesseract, Whisper, 시각 모델과 선택적 llama.cpp가 포함된다. 공개 코드는 개발자가 네트워크 동작을 살피고 구성 요소를 교체하게 하지만 대다수 사용자는 전체를 감사하지 않을 것이다. 악성코드, 공유 계정, 안전하지 않은 백업, 잠금 해제된 Mac으로도 로컬 보관함이 노출될 수 있다. 장점은 필수적인 클라우드 노출 감소이지 기기 침해에 대한 면역이 아니다.
남은 시험은 오래 쓸 수 있는 보관함이다
백그라운드 제어와 전체 일시정지는 색인이 일상 작업, 발열 한도, 배터리와 메모리를 놓고 경쟁한다는 점을 인정한다. 이미지 한 장의 추론이 빨라도 수십만 표본에는 지속 작업이 필요하고 OCR과 전사는 별도 대기열을 쓴다. 콘텐츠 해시, 캐시 계획, 스냅샷과 재시도는 유용한 기반이지만 중단된 가져오기, 끊긴 드라이브, 손상된 색인과 모델 이전이 대규모 복구를 시험할 것이다.
SCM은 이미 로컬 Mac 사진 도구와 전문 영상 도구가 있는 시장으로 들어간다. 유용한 조합은 공개 코드, 폴더별 범위, 로컬 처리와 여러 검색 모드다. 재현 가능한 배포, 문제 대응, 보안 보고, 외부 기여와 독립 평가는 별 수나 복잡한 채팅 화면보다 중요할 것이다.
전체 아카이브를 복사하기 전에 통제된 대표 폴더로 이런 절충을 드러낼 수 있다. 긴 영상, 스크린샷, 보이는 글자, 대화와 비슷한 파일은 다른 실패를 보여 주며 가져오기 시간, 추가 디스크 사용량과 원본 타임스탬프는 측정을 가능하게 한다. 원본과 백업은 관리 사본 밖에 남겨야 한다. 실질적인 약속은 올바른 원본의 올바른 순간 근처를 반복해서 찾는 것이지 Mac에 AI 검색창을 하나 더 넣는 것이 아니다.