Przewaga, którą SCM próbuje zbudować wobec Apple Photos, nie polega na nowym twierdzeniu, że zdjęcia można wyszukiwać zwykłym językiem. Apple już to oferuje. Otwarta aplikacja na Maca łączy natomiast wyszukiwanie wizualne, scen, tekstu i mowy w materiałach wybranych z folderów, w tym eksportach projektów i archiwach na dyskach zewnętrznych. Debiut pozwala sprawdzić cały mechanizm, ale nie dowodzi dokładności ani popularności: wczesna migawka Hacker News pokazywała cztery punkty i brak komentarzy.
Jest tu haczyk dla osób wyobrażających sobie lekki indeks istniejącego dysku. SCM kopiuje importowane multimedia do własnej zarządzanej biblioteki. Choć obiecuje znajdowanie momentów w całym filmie, udokumentowany proces wizualny próbkuje reprezentatywne klatki zamiast niezależnie analizować każdą zdekodowaną klatkę. Obie decyzje określają możliwości i koszty działania programu.
Kilka wyszukiwań zamiast wszechwiedzącego modelu
Repozytorium SCM opisuje tryby Files, Scenes, OCR i Dialogue oraz opcjonalny lokalny model pytań i odpowiedzi. Files wyszukuje całe zdjęcia lub filmy według znaczenia wizualnego, a Scenes zwraca momenty ze znacznikami czasu. OCR szuka widocznych słów. Dialogue używa transkrypcji Whisper, by lokalizować dokładne słowa w określonym czasie. Opcjonalna warstwa Ask korzysta z już wyodrębnionego tekstu, zamiast samodzielnie rozumieć wszystko w oryginalnych materiałach.
Te drogi uzupełniają się. Montażysta dokumentu może pamiętać zdanie z wywiadu, czerwony samochód w przebitkach albo adres e-mail na skanie zgody. Transkrypcje, embeddingi wizualne i OCR odpowiadają za różne części problemu. Wizualne skojarzenie „pies obok czerwonego samochodu” nie gwarantuje odczytu małego numeru seryjnego; transkrypt nie odzyska frazy, którą rozpoznawanie mowy zapisało błędnie.
SCM pokazuje część tego podziału w wyjaśnieniach wyników. Oznaczenia plików odróżniają dopasowania wizualne od nazw plików, a wyniki dialogów pokazują pasujące fragmenty transkrypcji. Punktacja i podpowiedzi ujawniają drogę do wyniku. To pomoce diagnostyczne, nie dowód poprawności rankingu. Użytkownik może odróżnić błąd transkrypcji od nieskutecznego zapytania wizualnego, zamiast uznawać każde pominięcie za ten sam tajemniczy błąd AI.
Karty zapisanych wyszukiwań zachowują zapytanie i tryb, gdy monitorowane foldery się zmieniają. Widok zrzutów ekranu łączy nazwy plików, metadane, kontekst folderów i ręczne korekty, a nie tylko wygląd. Specjalny widok e-mail próbuje odtworzyć adresy podzielone przez OCR między ramki lub uszkodzone przez błędną interpunkcję. Takie szczegóły rozszerzają wyszukiwanie poza zwykłą galerię zdjęć, ale nie czynią OCR nieomylnym.
Kolekcja określona folderami nadal tworzy dodatkową kopię
Multimedia trafiają do aplikacji przez import, przeciąganie lub monitorowane foldery. Projekt deklaruje aktualizacje na żywo i ponowne skanowanie folderów przy uruchomieniu. Przed kopiowaniem oblicza hash zawartości SHA-256, aby wykrywać przemianowane duplikaty, i sprawdza rzeczywiste typy mediów zamiast ufać rozszerzeniom. Buforowane plany scen mogą również ograniczać powtarzanie pracy po ponownym imporcie.
Kopia znajduje się w katalogu wsparcia aplikacji. Zewnętrzne archiwum nie pozostaje więc wyłącznie odwołaniem w indeksie: oryginały i kopia SCM współistnieją, obok embeddingów, miniatur, podglądów scen, transkrypcji, ramek OCR i plików pomocniczych. Kilka terabajtów nagrań oznacza zupełnie inne zobowiązanie przestrzenne niż mała kolekcja zrzutów ekranu. Migawki wersji embeddingów zajmują dodatkowe miejsce, choć SCM ogranicza ich liczbę do dziesięciu.
Opisywana dystrybucja jest przeznaczona dla Maców Apple silicon z macOS 12 lub nowszym, instalowana przez Homebrew. Electron pakuje aplikację, React obsługuje interfejs, a osobne procesy robocze zajmują się wizją, OCR i mową. Licencja MIT umożliwia sprawdzanie i adaptację kodu, kompilacji oraz testów. Nie dowodzi to bezpieczeństwa niezbadanego wydania lub zależności ani tego, że pojedynczy opiekun sprosta każdej zmianie komponentów źródłowych.
Porównanie z Photos także wymaga precyzji. Dokumentacja Apple Photos już opisuje naturalnojęzykowe wyszukiwanie obrazów i ważnych momentów filmów, z filtrami zdjęć, filmów, zrzutów, ulubionych i słów kluczowych. Photos integruje osoby, zwierzęta, albumy, edycje, wspomnienia i iCloud. Węższą szansą SCM jest określony przez użytkownika zbiór folderów produkcyjnych, kopii kart aparatów i archiwów klientów poza tą biblioteką, a nie dowód, że zastąpi Photos większości użytkowników.
Co naprawdę próbkuje wyszukiwanie scen
FFmpeg najpierw analizuje granice ujęć, po czym SCM tworzy plan segmentów z wybraną gęstością. Presety obejmują jeden punkt wyszukiwania co 60 sekund do jednego co 2,5 sekundy. Domyślny wariant zrównoważony stosuje odstępy 30 sekund i deklarowany budżet 8–128 segmentów. Dla każdego segmentu program tworzy embedding środkowej klatki i zachowuje podgląd. Zapytanie tekstowe otrzymuje reprezentację liczbową porównywaną z zapisanymi klatkami.
Wyszukiwanie całego pliku korzysta z innego skrótu: klatek w 20%, 50% i 80% długości filmu oraz uśrednionych embeddingów. Może to oddać ogólny charakter pliku, lecz nie każdą nietypową scenę. Scenes jest właściwą drogą do zapamiętanego momentu. Nawet tam jednosekundowa plansza, mijana tablica rejestracyjna czy krótko widoczna osoba w długim ujęciu mogą wypaść między reprezentatywnymi klatkami.
Przyczyna obliczeniowa jest prosta. Film trwający 30 minut przy 30 klatkach na sekundę ma 54 000 klatek; indeksowanie każdej zwielokrotniłoby obliczenia i rozmiar indeksu, zachowując wiele powtórzeń. Gęstsze próbkowanie zmniejsza luki kosztem czasu i pamięci. Nie zmienia próbkowanego indeksu w gwarancję kompletnego pokrycia każdej klatki.
SCM stosuje bramkę szumu, progi kalibrowane dla modeli i filtrowanie niemal duplikatów, a liczbę scen z jednego filmu ogranicza do trzech. Może to poprawić różnorodność i odsiać słabe trafienia, ale też ukryć kilka poprawnych momentów z tego samego pliku. Podobne kolory, kompozycja lub wyuczone skojarzenia mogą zajmować wysokie pozycje bez identyfikacji poszukiwanego obiektu. Mapa scen jest trafniejszym opisem niż obietnica zrozumienia każdej klatki.
Modele zmieniają szybkość i zachowanie
Domyślnym silnikiem jest CLIP ViT-L/14 z wejściem 336 pikseli i pobraniem modelu około 435MB. Opis CLIP od OpenAI wyjaśnia uczenie powiązań obrazu z tekstem, umożliwiające wyszukiwanie bez ręcznego oznaczenia każdego pojęcia. SCM oferuje też trzy warianty SigLIP. Powiązane badania SigLIP 2 podkreślają rozumienie wielojęzyczne, wyszukiwanie obraz–tekst i lokalizację; same właściwości badawcze nie dowodzą dokładności w konkretnym archiwum.
Deklarowane przez projekt czasy inferencji CPU wynoszą około 50–100 milisekund na obraz dla najszybszej opcji oraz około 200 lub 480 milisekund dla wolniejszych. Nie są to niezależne benchmarki różnych Maców. Zmiana modelu uruchamia ponowne tworzenie embeddingów w tle, a SCM tymczasowo wraca do nazw plików. Nie jest to więc bezkosztowa zmiana trafności na niezmienionym indeksie.
OCR obejmuje angielski i 35 dodatkowych opcji językowych, ale pakiety nie gwarantują rozpoznawania przy każdej rozdzielczości, kontraście, czcionce czy orientacji. Whisper może mylić akcenty, nakładające się głosy, szum i specjalistyczne słownictwo. Embeddingi wizualne mogą dziedziczyć uprzedzenia społeczne i kulturowe; karta CLIP wymaga gruntownych testów docelowej dziedziny. „Napięte spotkanie” wymaga interpretacji, a wskazanie osoby zatwierdzającej umowę może potrzebować wiedzy nieobecnej w pikselach.
Dlatego ocena każdego trybu jest bardziej informacyjna niż łączny wskaźnik powodzenia. Znane momenty docelowe i zapytania napisane przed obejrzeniem wyników mogą pokazać kompletność, fałszywe dopasowania i czas do wyniku osobno dla Scenes, Files, OCR oraz Dialogue. SCM zawiera testy jednostkowe, testy smoke Electron i skrypty benchmarkowe, lecz testy regresji oprogramowania nie są reprezentatywnym niezależnym benchmarkiem wyszukiwania.
Lokalna prywatność nie usuwa kwestii zaufania
SCM deklaruje brak kont, telemetrii i przesyłania mediów. Po pobraniu wymaganych wag modeli, danych OCR i plików Whisper przetwarzanie może być lokalne, a indeksowanie wizualne działać offline. Opcjonalny model językowy jest wyłączony do aktywacji i otrzymuje wyodrębnione dialogi, OCR oraz informacje z nazw plików. Jego proces pomocniczy używa interfejsu loopback, zwykle ograniczającego połączenia do tej samej maszyny.
Według projektu Ask cytuje lokalne dowody i zatrzymuje generowanie, gdy dowodów brak. Ogranicza to jedną drogę do niepopartych odpowiedzi, nie wszystkie błędy: mały model lokalny nadal może źle podsumować prawdziwy transkrypt. Cytaty prowadzą do mediów, nie zastępują sprawdzenia. Przypomina to medialną osobistą bazę wiedzy, ale wyszukiwanie i generowanie odpowiedzi pozostają odrębnymi problemami niezawodności.
Dystrybucja tworzy kolejną granicę zaufania. Instrukcje Homebrew wymagają zaufania do tapu lub caska projektu i wpływają na obsługę kwarantanny macOS; nie odpowiadają weryfikacji Mac App Store. Niepodpisane lokalne kompilacje mogą wywołać ostrzeżenia. Podpis identyfikuje autora i pomaga ustalić, że kod nie zmienił się od podpisania, ale nie dowodzi jego bezpieczeństwa. Kontrola SHA-256 również potwierdza zgodność z oczekiwanymi bajtami, a nie ich wiarygodność.
Łańcuch zależności obejmuje Electron, FFmpeg, ONNX Runtime, Tesseract, Whisper, modele wizyjne i opcjonalne llama.cpp. Otwarty kod pozwala badać zachowanie sieciowe i wymieniać elementy, lecz większość użytkowników nie przeprowadzi audytu całości. Malware, współdzielone konta, niezabezpieczone kopie i odblokowany Mac nadal mogą ujawnić lokalną bibliotekę. Przewagą jest mniejsza obowiązkowa ekspozycja na chmurę, nie odporność na przejęcie urządzenia.
Pozostaje test trwałej biblioteki
Sterowanie pracą w tle i globalne wstrzymanie uwzględniają konkurencję indeksowania z normalną pracą, temperaturą, baterią i pamięcią. Nawet szybka inferencja pojedynczego obrazu oznacza długą pracę nad setkami tysięcy próbek, obok osobnych kolejek OCR i transkrypcji. Hashe, buforowane plany, migawki i ponawianie są podstawą, lecz przerwane importy, odłączone dyski, uszkodzone indeksy i migracje modeli sprawdzą odtwarzanie na dużą skalę.
SCM wchodzi do istniejącej kategorii lokalnych narzędzi fotograficznych na Maca i profesjonalnych narzędzi wideo, a nie na pusty rynek. Jego użyteczne połączenie to otwarty kod, zakres określany folderami, lokalne przetwarzanie i kilka trybów wyszukiwania. Powtarzalne wydania, reakcje na problemy, zgłoszenia bezpieczeństwa, zewnętrzny wkład i niezależne oceny będą ważniejsze od gwiazdek czy rozbudowanego czatu.
Kontrolowany reprezentatywny folder może ujawnić kompromisy przed skopiowaniem całego archiwum. Długie filmy, zrzuty ekranu, widoczny tekst, dialogi i podobne pliki pokazują różne błędy; czas importu, dodatkowe miejsce i znaczniki oryginałów pozwalają je mierzyć. Oryginały i kopie bezpieczeństwa powinny pozostać poza zarządzaną kopią. Istotną obietnicą jest regularne znalezienie właściwego źródła blisko właściwego momentu, a nie dodanie kolejnego pola wyszukiwania AI na Macu.