La oportunidad de SCM frente a Apple Photos no consiste en afirmar por primera vez que las imágenes pueden buscarse con lenguaje cotidiano. Apple ya lo ofrece. La aplicación abierta para Mac combina búsqueda visual, de escenas, texto y voz en medios seleccionados desde carpetas, incluidos archivos exportados de proyectos y colecciones en discos externos. Su debut permite inspeccionar el proceso, pero no demuestra precisión ni adopción: la primera instantánea de Hacker News mostraba cuatro puntos y ningún comentario.
Hay una condición para quien imagine un índice ligero sobre un disco existente. SCM copia los medios importados a su propia biblioteca gestionada. Y, aunque promete encontrar momentos a lo largo de los vídeos, su proceso visual documentado muestrea fotogramas representativos en vez de analizar de forma independiente cada fotograma decodificado. Ambas decisiones determinan sus posibilidades y su coste de funcionamiento.
Varias búsquedas, no un modelo que lo sabe todo
El repositorio SCM describe Files, Scenes, OCR y Dialogue, además de un modelo local opcional de preguntas y respuestas. Files recupera fotos o vídeos completos por significado visual; Scenes devuelve momentos con códigos de tiempo. OCR busca palabras visibles. Dialogue utiliza transcripciones de Whisper para localizar palabras exactas en instantes concretos. La capa opcional Ask trabaja con texto ya extraído, en lugar de comprender por sí sola todo el material original.
Estas rutas se complementan. Un editor documental puede recordar una frase de una entrevista, un coche rojo en planos de recurso o una dirección electrónica en una autorización escaneada. Las transcripciones, los embeddings visuales y OCR responden a distintas partes del problema. Una asociación como «perro junto a un coche rojo» no garantiza leer un número de serie diminuto; una transcripción no recupera una frase que el reconocimiento de voz registró mal.
SCM muestra parte de esa separación mediante explicaciones de resultados. Las insignias distinguen coincidencias visuales y de nombre de archivo; los resultados de diálogo presentan fragmentos coincidentes de la transcripción. Puntuaciones y ayudas emergentes aclaran el camino al resultado. Son herramientas de diagnóstico, no pruebas de que la clasificación sea correcta. El usuario puede distinguir una mala transcripción de una consulta visual infructuosa, sin atribuir cada omisión al mismo misterioso error de IA.
Las pestañas de búsquedas guardadas conservan consulta y modo mientras cambian las carpetas vigiladas. La vista de capturas combina nombres, metadatos, contexto de carpetas y correcciones manuales, no solo apariencia. Una vista especializada de correo intenta reconstruir direcciones divididas entre cajas OCR o dañadas por errores de puntuación. Estos detalles amplían la recuperación más allá de una galería convencional, sin hacer infalible al OCR.
Las colecciones definidas por carpetas también generan otra copia
Los medios llegan por importación en la aplicación, arrastrar y soltar o carpetas vigiladas. El proyecto afirma que estas se actualizan en directo y se vuelven a explorar al iniciar. Antes de copiar, calcula un hash de contenido SHA-256 para reconocer duplicados renombrados y comprueba tipos reales de medios en vez de confiar en extensiones. Los planes de escenas almacenados en caché también pueden evitar repetir parte del trabajo al reimportar.
La copia se guarda en el directorio de soporte de la aplicación. Una colección externa no sigue siendo una referencia solo indexada: original y copia SCM coexisten, además de embeddings, miniaturas, vistas previas de escenas, transcripciones, cajas OCR y archivos auxiliares. Varios terabytes de metraje suponen un compromiso de almacenamiento muy distinto de una pequeña colección de capturas. Las instantáneas de versiones de embeddings añaden coste, aunque SCM las limita a diez.
La distribución descrita se dirige mediante Homebrew a los Mac Apple silicon con macOS 12 o posterior. Electron empaqueta la aplicación, React ofrece la interfaz y procesos separados manejan visión, OCR y voz. La licencia MIT permite inspeccionar y adaptar código, compilaciones y pruebas. Nada de ello demuestra que una versión o dependencia no examinada sea segura, ni que un único responsable pueda mantener el ritmo de todos los cambios de componentes previos.
La comparación con Photos también exige precisión. La documentación de Apple Photos ya describe búsqueda natural de imágenes y momentos clave de vídeo, con filtros de fotos, vídeos, capturas, favoritos y palabras clave. Photos integra personas, mascotas, álbumes, ediciones, recuerdos e iCloud. La oportunidad más acotada de SCM es un corpus definido por el usuario de carpetas de producción, copias de tarjetas y archivos de clientes fuera de esa biblioteca, no demostrar que sustituirá Photos para la mayoría.
Qué muestrea realmente la búsqueda de escenas
FFmpeg examina primero los límites entre planos; después SCM construye un plan de segmentos con la densidad elegida. Los preajustes van de un punto de búsqueda cada 60 segundos a uno cada 2,5 segundos. El ajuste equilibrado predeterminado utiliza intervalos de 30 segundos y un presupuesto declarado de 8–128 segmentos. Para cada uno se genera el embedding del fotograma central y se conserva una vista previa. La consulta textual se convierte en una representación numérica comparable con los fotogramas almacenados.
La búsqueda del archivo de vídeo entero utiliza otro resumen: fotogramas al 20%, 50% y 80% de la duración, con embeddings promediados. Puede representar el carácter general del archivo, pero no todas las escenas inusuales. Scenes es la vía adecuada para un momento recordado. Incluso ahí, un rótulo de un segundo, una matrícula que pasa o una breve aparición en un plano largo sin cortes pueden caer entre fotogramas representativos.
La razón computacional es clara. Un vídeo de 30 minutos a 30 fotogramas por segundo tiene 54.000 fotogramas; indexarlos todos multiplicaría el procesamiento y el tamaño del índice, conservando mucha redundancia. Un muestreo más denso reduce huecos a costa de tiempo y almacenamiento adicionales. No convierte un índice muestreado en garantía de cobertura completa fotograma a fotograma.
SCM aplica un filtro de ruido, umbrales calibrados por modelo y filtros de casi duplicados, y limita cada vídeo a tres resultados de escenas. Puede mejorar la diversidad y suprimir coincidencias débiles, pero también ocultar varios momentos válidos del mismo archivo. Colores, composiciones o asociaciones aprendidas similares pueden ocupar posiciones altas sin identificar el sujeto solicitado. Un mapa de escenas describe mejor el sistema que prometer haber entendido cada fotograma.
Los modelos cambian velocidad y comportamiento
El motor predeterminado es CLIP ViT-L/14 con entrada de 336 píxeles y descarga aproximada de 435MB. La presentación CLIP de OpenAI explica el aprendizaje de asociaciones entre imagen y texto que permite recuperar conceptos sin etiquetarlos todos manualmente. SCM también ofrece tres variantes SigLIP. La investigación SigLIP 2 destaca comprensión multilingüe, recuperación imagen-texto y localización; esas propiedades no establecen por sí solas precisión en un archivo personal.
Las cifras de inferencia CPU comunicadas por el proyecto van de unos 50–100 milisegundos por imagen en la opción más rápida a unos 200 o 480 milisegundos en las más lentas. No son benchmarks independientes entre Mac. Cambiar de modelo activa la regeneración de embeddings en segundo plano, durante la cual SCM recurre temporalmente a nombres de archivo. No es, por tanto, un cambio gratuito de relevancia sobre un índice inalterado.
OCR incluye inglés y 35 opciones lingüísticas adicionales, pero los paquetes no garantizan reconocimiento con cualquier resolución, contraste, fuente u orientación. Whisper puede confundir acentos, voces superpuestas, ruido y vocabulario especializado. Los embeddings visuales pueden heredar sesgos sociales o culturales; la ficha CLIP pide pruebas exhaustivas en el dominio previsto. «Una reunión tensa» necesita interpretación, mientras que identificar a quien aprobó un contrato puede exigir conocimientos ausentes de los píxeles.
Estas limitaciones hacen más informativa la evaluación por modo que una tasa de éxito combinada. Momentos objetivo conocidos y consultas escritas antes de ver los resultados permiten medir exhaustividad, coincidencias falsas y tiempo hasta el resultado por separado en Scenes, Files, OCR y Dialogue. SCM incluye pruebas unitarias, pruebas de humo de Electron y scripts de benchmark, pero las comprobaciones de regresión no son un benchmark independiente y representativo de recuperación.
La privacidad local no elimina la confianza
SCM afirma que no utiliza cuentas, telemetría ni subidas de medios. Tras descargar los pesos visuales, datos OCR y archivos Whisper necesarios, el procesamiento puede ser local y la indexación visual funcionar sin conexión. El modelo de lenguaje opcional permanece desactivado hasta habilitarlo y recibe diálogos, OCR y evidencia de nombres extraídos. Su servicio auxiliar usa loopback, que normalmente restringe las conexiones a la misma máquina.
Según el proyecto, Ask cita sus pruebas locales y se detiene antes de generar si están vacías. Esto reduce una vía a respuestas sin respaldo, no todos los errores: un modelo local pequeño aún puede resumir mal una transcripción real. Las citas conducen de vuelta al medio, no sustituyen la verificación. Se parece a una base de conocimiento personal centrada en medios, pero recuperación y generación siguen siendo problemas distintos de fiabilidad.
La distribución añade otra frontera de confianza. Las instrucciones Homebrew exigen confiar en el tap o cask del proyecto y afectan al manejo de la cuarentena macOS; no equivalen a la revisión de Mac App Store. Las compilaciones locales sin firma pueden activar avisos. La firma identifica al desarrollador y ayuda a verificar que el código no ha cambiado desde entonces, no demuestra seguridad inherente. SHA-256 confirma igualmente los bytes previstos, no su fiabilidad.
La cadena de dependencias incluye Electron, FFmpeg, ONNX Runtime, Tesseract, Whisper, modelos visuales y llama.cpp opcional. El código abierto permite examinar el comportamiento de red y cambiar componentes, pero la mayoría no auditará toda la cadena. Malware, cuentas compartidas, copias inseguras y un Mac desbloqueado aún pueden exponer la biblioteca local. La ventaja es menor exposición obligatoria a la nube, no inmunidad frente a una intrusión en el dispositivo.
La prueba pendiente es una biblioteca duradera
Los controles en segundo plano y la pausa global reconocen que la indexación compite con trabajo normal, calor, batería y memoria. Incluso una inferencia rápida por imagen se convierte en trabajo sostenido con cientos de miles de muestras, además de colas separadas de OCR y transcripción. Hashes, planes en caché, instantáneas y reintentos son bases útiles, pero las importaciones interrumpidas, discos desconectados, índices dañados y migraciones de modelos pondrán a prueba la recuperación a escala.
SCM entra en una categoría existente de herramientas locales de fotografía para Mac y vídeo profesional, no en un mercado vacío. Su combinación útil es código abierto, alcance definido por carpetas, procesamiento local y varios modos. Versiones reproducibles, respuesta a problemas, informes de seguridad, contribuciones externas y evaluaciones independientes importarán más que estrellas o una interfaz de chat elaborada.
Una carpeta representativa y controlada puede revelar estos compromisos antes de copiar un archivo completo. Vídeos largos, capturas, texto visible, diálogos y archivos parecidos exponen fallos distintos; duración de importación, espacio añadido y tiempos de los originales hacen medibles los resultados. Los originales y sus copias de seguridad deberían mantenerse fuera de la copia gestionada. La promesa sustancial es encontrar repetidamente la fuente correcta cerca del momento correcto, no solo añadir otro cuadro de búsqueda IA al Mac.