SCMがApple Photosに挑む切り口は、写真を普段の言葉で検索できるという新しい主張ではない。Appleはすでにその機能を提供している。このオープンソースのMacアプリは、プロジェクトの書き出しや外付けドライブのアーカイブなど、フォルダから選んだメディアに対して、視覚・シーン・文字・音声の検索を組み合わせる。公開によって一連の処理を検証できるようになったが、精度や普及が証明されたわけではない。初期のHacker Newsの記録は4ポイント、コメントなしだった。
既存のディスクに軽量な索引だけを付ける仕組みだと思うと、重要な条件を見落とす。SCMは取り込んだメディアを専用の管理ライブラリへコピーする。また、動画の各所の瞬間を探せるとうたう一方、文書化された視覚処理は代表フレームの抽出であり、復号された全フレームの個別解析ではない。この二つの選択が、できることと運用コストを左右する。
万能の一つのモデルではなく、複数の検索
SCMのリポジトリは、Files、Scenes、OCR、Dialogueと、任意のローカル質問応答モデルを説明している。Filesは視覚的意味で写真や動画全体を返し、Scenesはタイムコード付きの場面を返す。OCRは画面内の文字を検索し、DialogueはWhisperの文字起こしから特定時刻の単語を正確に探す。任意のAsk層が利用するのは抽出済みのテキストであり、原本のすべてを独自に理解するわけではない。
これらは補完関係にある。ドキュメンタリー編集者なら、インタビューの一文、Bロールの赤い車、スキャンした同意書のメールアドレスを覚えているかもしれない。文字起こし、視覚埋め込み、OCRがそれぞれ異なる部分に答える。「赤い車の横の犬」という視覚的関連から小さな製造番号を読めるとは限らず、音声認識が誤ったフレーズは文字起こし検索でも回収できない。
SCMは結果の説明を通じて、その違いをある程度示す。ファイルのバッジは視覚一致とファイル名一致を分け、会話結果には一致した文字起こしの抜粋が出る。スコアやツールチップも結果の経路を見やすくする。これは誤りを診断する助けであり、順位が正しい証拠ではない。ユーザーは文字起こしの失敗と視覚検索の不発を区別でき、すべてを同じ不可解なAIエラーと扱わずに済む。
保存した検索タブは、監視フォルダが変化してもクエリとモードを維持する。スクリーンショット表示は外観だけでなく、ファイル名、メタデータ、フォルダの文脈、手動修正を使う。専用のメール表示は、OCRが複数の枠に分割したり句読点を誤認したりしたアドレスの復元を試みる。こうした細部が通常の写真一覧を超える検索を支えるが、OCRを無誤謬にするものではない。
フォルダで対象を選んでも、もう一つのコピーができる
メディアはアプリへの取り込み、ドラッグ＆ドロップ、監視フォルダから入る。プロジェクトによれば監視フォルダは即時更新され、起動時にも再走査される。コピー前にSHA-256の内容ハッシュを計算して、名前が変わった重複を認識し、拡張子だけでなく実際のメディア形式を確認する。キャッシュされたシーン計画も、再取り込み時の一部の重複作業を避けられる。
コピーの保存先はアプリのサポートディレクトリだ。外付けアーカイブは索引だけの参照にはならない。元メディアとSCMの管理コピーが併存し、埋め込み、サムネイル、シーンのプレビュー、文字起こし、OCR領域、補助ファイルも加わる。数TBの映像と小さなスクリーンショット集では、必要な容量が大きく違う。埋め込みのバージョンスナップショットも容量を使うが、SCMは10個までに制限する。
説明されている配布版は、macOS 12以降のApple silicon Macを対象にHomebrewで導入する。Electronでアプリをまとめ、Reactが画面を構成し、別々のワーカーが視覚、OCR、音声を処理する。MITライセンスによりコードの調査・改変・ビルド・テストが可能だ。ただし、未検証のリリースや依存関係が安全であることも、一人の保守者がすべての上流変更に対応できることも証明しない。
Photosとの比較も正確でなければならない。AppleのPhotos文書は、自然言語による画像と動画の重要場面の検索、および写真・動画・スクリーンショット・お気に入り・キーワードの絞り込みをすでに説明している。人物、ペット、アルバム、編集、メモリー、iCloudとの統合もある。SCMのより限定的な機会は、そのライブラリ外の制作フォルダ、カメラカードのバックアップ、顧客アーカイブをユーザーが対象にできることであり、大半のユーザーのPhotosを置き換えるという証明ではない。
シーン検索が実際に抽出するもの
最初にFFmpegがショットの境界を調べ、SCMが選択した密度で区間を計画する。プリセットは60秒に1検索点から2.5秒に1検索点まである。既定のバランス設定は30秒間隔で、公称の区間数は8～128だ。各区間の中点フレームを埋め込みに変換してプレビュー画像を保存し、文字クエリも数値化して保存済み画像との順位付けに使う。
動画全体の検索は別の要約を用いる。長さの20%、50%、80%でフレームを取り、埋め込みを平均する。全体の特徴は表せても、珍しい場面をすべて捉えることはできない。記憶している瞬間にはScenesが適している。それでも1秒のタイトル画面、通過するナンバー、長回しに一瞬だけ映る人物は代表フレームの間から抜け落ち得る。
計算上の理由は明快だ。毎秒30フレームの30分動画は54,000フレームある。全部を索引化すれば処理量と索引サイズが増え、隣接フレームの大量の重複も残る。密度を上げると隙間は減るが、追加の時間と容量が必要になる。抽出した索引が全フレームの完全な網羅を保証するものに変わるわけではない。
SCMはノイズゲート、モデルごとの調整済み閾値、近似重複の除去を使い、動画ごとのシーン結果を3件に制限する。多様性を高めて弱い一致を抑える一方、同じ動画内の複数の正しい場面を隠す可能性もある。似た色、構図、学習された関連性が上位に出ても、求める被写体を識別しているとは限らない。「全フレームを理解」という約束より、場面の地図という説明が正確だ。
モデルの選択は速度と挙動の両方を変える
既定の視覚エンジンは入力336ピクセルのCLIP ViT-L/14で、ダウンロードは約435MBだ。OpenAIのCLIP解説は、概念ごとに手作業でラベルを付けずに検索できる画像・文章の関連学習を説明する。SCMには3種のSigLIPもある。関連するSigLIP 2研究は、多言語理解、画像・文章検索、位置特定を重視するが、それだけで個別アーカイブの精度は証明できない。
プロジェクトが示すCPU推論は、最速で画像当たり約50～100ミリ秒、遅い選択肢で約200または480ミリ秒だ。Macを横断した独立ベンチマークではない。モデルを変えるとバックグラウンドで埋め込みを作り直し、SCMは一時的にファイル名検索へ戻る。モデル変更は、同じ索引上で関連性だけを無償で切り替える操作ではない。
OCRは英語に加えて35言語の切り替えを備えるが、言語パックは解像度、コントラスト、書体、向きの違いを超えた正確さを保証しない。Whisperはアクセント、重なった発話、雑音、専門語を誤認し得る。視覚埋め込みには社会的・文化的偏りも入り得て、CLIPのモデルカードは用途別の十分な試験を求めている。「緊張した会議」は解釈を必要とし、契約の承認者の特定には画素にない知識が必要かもしれない。
そのため、総合成功率よりもモード別評価のほうが有益だ。既知の対象場面と結果を見る前に作成したクエリによって、Scenes、Files、OCR、Dialogueそれぞれの再現率、誤一致、結果までの時間を調べられる。SCMには単体テスト、Electronのスモークテスト、ベンチマークスクリプトがあるが、ソフトの回帰確認は代表的な独立検索評価ではない。
ローカルのプライバシーでも信頼は必要
SCMはアカウント、テレメトリー、メディア送信がないとする。必要な視覚重み、OCRデータ、Whisperファイルの取得後はローカル処理が可能で、視覚索引はオフラインで動く。任意の言語モデルは有効化まで停止し、抽出済みの会話、OCR、ファイル名の根拠を受け取る。補助サービスは通常同一マシンだけが接続できるループバックを使う。
Askはローカルの根拠を引用し、根拠が空なら生成前に停止するという。これは裏付けのない回答への一つの経路を減らすが、すべての誤りを除くわけではない。小型モデルは実在する文字起こしも誤要約できる。引用はメディアへ戻る道であり、確認の代わりではない。メディア中心の個人ナレッジベースに似ているが、検索と回答生成は別の信頼性問題だ。
配布にも信頼の境界がある。Homebrew手順ではプロジェクトのtapやcaskを信頼し、macOSの隔離処理にも影響する。Mac App Storeの審査と同じではない。未署名のローカルビルドは警告を出し得る。署名は開発者の識別と署名後の未変更を確認する助けであり、本質的な安全の証明ではない。SHA-256も期待したバイト列との一致を確認するだけで、そのバイト列の信頼性は証明しない。
依存関係にはElectron、FFmpeg、ONNX Runtime、Tesseract、Whisper、視覚モデル、任意のllama.cppがある。公開コードでネットワーク動作の検査や部品交換はできるが、通常のユーザーは全体を監査しない。マルウェア、共有アカウント、不安全なバックアップ、未ロックのMacでもローカル資料は露出する。優位性は強制的なクラウド露出の削減であり、端末侵害への免疫ではない。
残る試験は長く使えるライブラリかどうか
バックグラウンド制御と全体停止は、索引作成が普段の作業、発熱、電池、メモリーと競合することを認めている。1画像が速くても数十万サンプルには継続処理が必要で、OCRと文字起こしには別の待ち行列がある。内容ハッシュ、計画キャッシュ、スナップショット、再試行は土台になるが、中断した取り込み、外れたドライブ、壊れた索引、モデル移行が大規模での復旧を試す。
SCMは既存のMac写真検索やプロ向け動画ツールがある市場へ入る。価値のある組み合わせは公開コード、フォルダで定める対象、ローカル処理、複数検索だ。再現可能なリリース、問題への応答、セキュリティ報告、外部貢献、独立評価は、スター数や凝ったチャット画面より重要になる。
小さく代表的なフォルダなら、全アーカイブをコピーする前にこうした負担を確認できる。長い動画、画面キャプチャ、文字、会話、よく似たファイルは異なる失敗を示し、取り込み時間、増加容量、元メディアの時刻で測定できる。原本とバックアップは管理コピーの外に残すべきだ。本来の約束は、正しい原本の正しい時刻付近へ繰り返し到達することであり、MacにAI検索欄を一つ増やすことではない。