시맨틱 검색은 정확히 같은 단어의 중첩이 아니라 의미를 기준으로 결과를 찾는 검색 방식입니다. 벡터 임베딩을 사용해 질의와 문서를 하나의 공통 공간에 표현하므로, 표현이 달라도 비슷한 개념은 서로 가까운 곳에 놓입니다.
이 접근법에는 두 단계가 필요합니다. 먼저 모델이 텍스트를 맥락을 담은 밀집 벡터로 변환합니다. 그런 다음 유사도 함수가 저장된 벡터를 질의 벡터와 비교해 순위를 매깁니다. 이는 초기 검색 엔진이 사용하던 희소한 단어 가방 표현을 대체합니다.
시맨틱 검색의 작동 방식
1단계: 텍스트를 벡터로 변환. 임베딩 모델이 들어오는 질의와 저장된 모든 문서를 처리합니다. 각 문장이나 문단은 길이가 고정된 수치 벡터가 됩니다. 벡터의 위치에는 모델 학습 과정에서 익힌 관계가 인코딩됩니다. 예를 들어 “회의 노트”와 “논의 요약”의 벡터는 서로 가까운 곳에 놓입니다.
2단계: 유사도 점수 계산
코사인 유사도는 질의 벡터와 각 문서 벡터 사이의 각도를 측정합니다. 값이 1에 가까울수록 정렬 정도가 높습니다. 시스템은 점수가 가장 높은 문서부터 반환합니다. 이 단계가 BM25의 단어 빈도 계산을 대신합니다.
3단계: 결과 정제
일부 시스템은 첫 유사도 검색 뒤에 재정렬이나 필터링을 추가합니다. 필터로 결과를 사용자의 비공개 자료 모음이나 선택한 기간 안에 수정된 파일로 제한할 수 있습니다. 임베딩 조회와 선택적 필터를 결합해 최종 목록을 만듭니다.
간단한 비유로 흐름을 이해할 수 있습니다. 모든 문서를 지도 위의 점이라고 생각해 보세요. 질의는 새로 찍힌 점입니다. 검색 엔진은 두 점의 도로명이 같은지가 아니라 직선거리로 가장 가까운 이웃을 찾습니다.
한계도 남아 있습니다. 임베딩은 학습 데이터에 존재하는 편향을 반영할 수 있습니다. 매우 짧거나 모호성이 큰 질의는 길고 맥락이 풍부한 질의보다 여전히 정확도가 낮습니다. 현재의 시스템은 이러한 경계 사례를 계속 개선하고 있습니다.
여러 논문을 다루는 연구자는 같은 기법을 이용해 제목의 키워드가 아니라 주제별로 연구를 묶습니다. “트랜스포머 스케일링”에 관한 질의로 인용을 일일이 추적하지 않고도 어텐션 메커니즘에 관한 초기 연구를 찾을 수 있습니다.
개인 지식 도구는 사용자가 직접 수집한 콘텐츠에 시맨틱 검색을 적용합니다. 웹 클립과 회의 전사, 로컬 파일이 하나의 검색 가능한 자료 모음이 됩니다. 사용자가 정확한 파일명이나 키워드를 기억하지 않아도 시스템이 과거 작업에서 관련 항목을 반환합니다.
Q: 현재 시맨틱 검색의 가장 큰 과제는 무엇인가요?
A: 짧거나 모호한 질의는 여전히 정확도를 낮춥니다. 분야별 전문 용어에는 임베딩 모델의 추가 미세 조정이 필요할 때도 있습니다. 현재 연구는 이러한 경계 조건을 개선하는 데 집중하고 있습니다.