임베딩과 코사인 유사도: 가까운 벡터가 뜻하는 것
페이지 정보
본문
검색 문장이 원문과 정확히 같지 않아도 관련 문서를 찾고 싶을 때 임베딩을 접하게 됩니다. 문장을 숫자 벡터로 바꾸고 벡터 사이의 관계를 비교하는 방식입니다.
하지만 유사도 점수가 높다는 이유만으로 두 문장이 같은 사실을 말하거나 답변이 정확하다고 확정할 수는 없습니다. 이 글에서는 임베딩의 역할과 코사인 유사도의 계산 의미를 작은 예제로 나누어 설명합니다.
AI 생성 삽화 · 벡터의 관계를 탐색하는 모습을 표현한 개념 삽화이며 실측 분포도는 아닙니다.
핵심 정리
임베딩은 비교를 위한 표현이고 코사인 유사도는 벡터 방향을 비교하는 값입니다. 높은 점수는 관련 후보를 찾는 단서이며 사실 판정이나 확률과 같지 않습니다.
1. 임베딩은 텍스트를 비교 가능한 숫자로 표현합니다
텍스트 임베딩 모델은 입력 문장이나 문서를 여러 숫자로 이루어진 벡터로 표현합니다. 이 숫자들은 사람이 직접 지정한 단어 개수표와 같지 않습니다.
학습된 표현 안에서 문장 사이의 관계를 비교할 수 있도록 사용합니다. Sentence Transformers의 의미 유사도 문서는 문장별 임베딩을 만든 뒤 서로 비교하는 기본 흐름을 보여줍니다.
검색에서는 질문과 문서를 같은 비교 공간에 놓을 수 있는지가 중요합니다. 각 차원을 사람이 읽는 주제 이름으로 쉽게 해석할 수 있다고 가정하지 않습니다.
예를 들어 첫 숫자는 배관, 둘째 숫자는 청소라고 임의로 이름 붙이면 실제 모델의 표현을 잘못 설명할 수 있습니다. 학습용 그림에서 두 축을 그리는 것은 관계를 단순화한 시각적 예시입니다.
실제 벡터의 차원 수와 의미를 그대로 재현한 그림과는 구분해야 합니다.
2. 코사인 유사도는 길이보다 방향을 비교합니다
코사인 유사도는 두 벡터의 내적을 각각의 길이의 곱으로 나누어 계산합니다. scikit-learn 문서에서는 이를 정규화된 내적으로 설명합니다.
길이가 0이 아닌 벡터를 기준으로 같은 방향이면 1, 직각이면 0, 반대 방향이면 -1이 되는 수학적 관계입니다. 실제 텍스트 모델에서 어떤 범위에 점수가 많이 모이는지는 모델과 데이터에 따라 확인해야 합니다.
여기서 길이는 문장의 글자 수가 아니라 벡터의 크기입니다. 두 개념을 섞으면 긴 문장을 짧게 만들기만 하면 유사도가 바뀐다는 식의 오해가 생깁니다.
벡터 크기를 제거하고 방향 관계를 보려는 계산이라는 점을 먼저 이해하면 됩니다. 길이가 0인 벡터는 분모가 0이 되는 별도 경우이므로 사용하는 라이브러리의 처리를 확인해야 합니다.
수학적 정의와 도구가 예외 입력을 다루는 방식도 나누어 봅니다.
3. 두 숫자 벡터로 계산 의미를 살펴봅니다
실제 문장 임베딩이 아닌 설명용 벡터 A=(1, 0), B=(2, 0), C=(0, 1)을 생각해보겠습니다. A와 B는 크기는 다르지만 방향이 같습니다.
내적은 2이고 길이의 곱도 2이므로 코사인 유사도는 1입니다. A와 C는 내적이 0이어서 코사인 유사도도 0입니다.
이 예시는 공식을 직접 대입한 산술 설명이며 특정 임베딩 모델을 실행해 얻은 결과가 아닙니다. 여기서 A와 B의 유사도가 1이라고 해서 두 원문이 글자까지 동일하다는 뜻으로 확장하면 안 됩니다.
실제 모델은 복잡한 입력을 제한된 숫자 표현으로 바꾸며 비교 값은 그 표현의 관계를 보여줍니다. 수학 예제의 벡터를 임의의 한국어 문장에 붙여 실제 모델 점수처럼 소개하지 않는 것도 중요합니다.
숫자의 계산이 맞는지와 그 숫자가 어떤 데이터에서 나온 것인지는 서로 다른 확인 항목입니다.
4. 높은 점수와 정답 여부를 구분합니다
서로 같은 주제를 다루는 문장도 중요한 조건이 다를 수 있습니다. 가상의 검색 질문이 '예약 변경이 가능한 시간'이고 후보 문서가 '예약 변경이 불가능한 시간'을 다룬다고 생각해보겠습니다.
사용된 단어와 주제는 비슷하지만 답변에 필요한 조건은 반대일 수 있습니다. 실제 점수가 얼마나 나올지는 모델로 측정해야 하며 이 예시에서는 높은 점수가 나온다고 확정하지 않습니다.
이런 종류의 후보를 검토 대상으로 포함하자는 의미입니다. 유사도는 검색 후보를 정렬하는 데 사용할 수 있지만 사실 확인을 대신하지 않습니다.
상위 문서를 찾아도 날짜, 적용 대상, 부정 표현, 예외 조건을 읽어야 합니다. 점수 0.8을 정답 확률 80퍼센트처럼 표현하는 것도 적절하지 않습니다.
확률로 해석하려면 그에 맞는 별도 모델링과 평가가 필요합니다. 점수의 이름과 실제 의미를 구분해 설명해야 검색 결과를 사용하는 사람도 과도하게 신뢰하지 않습니다.
5. 모델과 비교 조건을 함께 맞춥니다
같은 차원 수의 벡터라고 해서 서로 다른 모델의 출력을 바로 비교해도 된다는 뜻은 아닙니다. 어떤 모델과 입력 방식으로 만든 표현인지 연결되어 있어야 합니다.
질문용 입력과 문서용 입력을 다르게 처리하도록 안내하는 모델도 있으므로 모델 문서의 사용 조건을 확인해야 합니다. 검색 대상 문서를 새 모델로 바꿀 때에는 질문 쪽만 교체하고 이전 문서 벡터를 그대로 사용해도 되는지 별도로 검토합니다.
정규화 여부와 비교 함수도 확인할 항목입니다. Sentence Transformers 문서는 코사인 외에 내적과 거리 기반 비교를 지원하고 정규화된 벡터에서는 내적과 코사인의 관계가 달라지지 않는 조건을 설명합니다.
그렇다고 모든 모델에 같은 비교 함수를 권장할 수는 없습니다. 모델이 기대하는 사용 방식을 따르고 조건을 바꿨다면 검색 결과가 어떻게 달라졌는지 평가해야 합니다.
함수 이름 하나보다 전체 입력과 표현의 조합이 중요합니다.
6. 임계값은 실제 질문 묶음으로 검토합니다
몇 점 이상이면 관련 문서라고 볼지 정하려면 사용하려는 자료에서 확인해야 합니다. 다른 예제의 점수 기준을 그대로 가져오면 언어와 주제, 모델이 달라진 상황에 맞지 않을 수 있습니다.
처음에는 실제로 들어올 만한 질문과 적절한 문서, 헷갈리기 쉬운 문서를 작은 묶음으로 준비할 수 있습니다. 단순히 관련 없는 주제만 음성 예시로 넣으면 어려운 구분을 놓칠 수 있습니다.
예를 들어 제품 설치 안내를 검색한다면 같은 제품의 다른 버전, 비슷한 이름의 제품, 적용 대상이 다른 문서를 비교 후보로 포함합니다. 어떤 문서가 답변 근거로 적절한지 사람이 기준을 먼저 적습니다.
그런 뒤 순위와 점수를 관찰해 필요한 문서가 누락되는 경우와 부적절한 문서가 올라오는 경우를 나누어 봅니다. 이 과정은 실측 없이 임계값을 추천하는 것보다 서비스의 요구를 구체적으로 드러냅니다.
평가용 질문을 학습이나 조정에 어떻게 쓰는지도 기록하는 편이 좋습니다.
7. 작은 검색 실습에서 남길 기록을 정합니다
실습을 한다면 질문 원문, 문서 식별자, 모델 정보, 입력 처리 방식, 비교 함수와 결과 순위를 함께 남깁니다. 점수만 저장하면 나중에 왜 그 문서가 올라왔는지 설명하기 어렵습니다.
문서를 수정한 경우에는 임베딩이 어느 버전의 원문에 대응하는지도 연결합니다. 오래된 벡터로 새 문서를 찾는 상황이 아닌지 확인할 수 있어야 합니다.
실제 실행 결과와 실습 설계 단계의 예상은 명확히 구분합니다. 마지막에는 검색된 문서가 질문에 답하는지 직접 읽어봅니다.
유사한 주제를 찾는 것과 필요한 조건을 포함한 근거를 찾는 것이 다르다는 점을 확인하는 단계입니다. 필요하다면 키워드 조건이나 후속 재정렬을 검토할 수 있지만 모든 문제에 같은 구성을 적용할 필요는 없습니다.
먼저 실패한 질문이 왜 어려웠는지 설명해보는 것이 좋습니다. 임베딩과 코사인 유사도는 문서 탐색을 돕는 도구이며 평가 기준과 근거 확인이 함께 있어야 결과를 해석할 수 있습니다.
8. 자주 묻는 질문
Q1. 유사도 0.8은 80퍼센트 정확하다는 뜻인가요?
코사인 유사도는 벡터 관계를 나타내는 값이며 정답 확률과 같지 않습니다. 검색 결과가 실제 질문에 답하는지는 별도로 확인해야 합니다.
Q2. 벡터 차원이 같으면 다른 모델끼리 비교해도 되나요?
차원 수가 같다는 조건만으로 충분하지 않습니다. 동일하거나 호환되는 표현 공간과 사용 방식인지 모델 문서에서 확인해야 합니다.
Q3. 코사인 유사도가 1이면 원문도 완전히 같나요?
방향이 같다는 수학적 관계이며 원문 문자열의 동일성을 보장하지 않습니다. 원문 중복을 확인하려면 그 목적에 맞는 비교가 필요합니다.
Q4. 관련 문서 기준 점수는 얼마가 좋나요?
모델과 데이터, 놓치면 안 되는 질문에 따라 달라집니다. 실제 질문과 정답 문서 묶음으로 누락과 잘못된 선택을 비교해 기준을 정합니다.
참고 자료
- 이전글메시지 큐와 발행·구독의 차이: 누가 메시지를 받는가 26.09.13
- 다음글LLM 토큰과 컨텍스트 길이, 글자 수와 다른 이유 26.09.13
댓글목록
등록된 댓글이 없습니다.