데이터의 특성이 크게 바뀌고 있습니다. 데이터는 더 이상 기존 데이터베이스에 쉽게 저장할 수 있는 정형화된 정보에만 국한되지 않습니다. 소셜 미디어 게시물, 이미지, 비디오, 오디오 클립 등으로 구성된 비정형 데이터가 매년 30~60% 증가하고 있습니다.² 일반적으로 비정형 데이터 소스를 기존의 관계형 데이터베이스에 로드하여 저장, 관리 및 AI에 대비하려는 경우, 이 프로세스는 노동 집약적이며 특히 유사성 검색과 같은 새로운 생성형 사용 사례의 경우 효율성이 떨어집니다. 관계형 데이터베이스는 특정 형식의 정형 및 반정형 데이터 세트를 관리하는 데 적합하며, 벡터 데이터베이스는 고차원 벡터 임베딩을 통한 비정형 데이터 세트에 가장 적합합니다. 

벡터를 입력하세요. 벡터는 머신 러닝(ML) 모델에 의해 생성된 단어, 이미지, 동영상 및 오디오와 같은 복잡한 객체를 나타낼 수 있는 숫자 배열입니다. 고차원 벡터 데이터는 머신 러닝, 자연어 처리(NLP) 및 기타 AI 작업에 필수적입니다. 벡터 데이터의 몇 가지 예는 다음과 같습니다. 

• 텍스트: 마지막으로 챗봇과 상호 작용했던 때를 떠올려 보세요. 챗봇이 자연어를 어떻게 이해할까요? 머신 러닝 알고리즘을 통해 변환된 단어, 단락, 전체 문서를 나타낼 수 있는 벡터를 사용합니다. 

• 이미지: 이미지 픽셀은 숫자 데이터로 설명할 수 있으며, 이를 결합하여 해당 이미지의 고차원 벡터를 구성할 수 있습니다. 

• 음성/오디오: 이미지와 마찬가지로 음파도 수치 데이터로 분해하여 벡터로 표현할 수 있으므로 음성 인식과 같은 AI 애플리케이션을 구현할 수 있습니다. 

AI에 필요한 비정형 데이터 세트의 양은 계속 증가할 텐데, 수백만 개의 벡터를 어떻게 처리할 수 있을까요? 여기서 벡터 임베딩과 벡터 데이터베이스가 작동합니다. 이러한 벡터는 임베딩이라고 하는 연속적인 다차원 공간으로 표현되며, 임베딩 모델은 벡터 데이터를 임베딩으로 변환하는 데 특화된 임베딩 모델로 생성됩니다. 벡터 데이터베이스는 임베딩 모델의 아웃풋을 저장하고 인덱싱하는 역할을 합니다. 벡터 임베딩은 데이터를 숫자로 표현한 것으로, 거의 모든 데이터 유형에서 의미론적 의미 또는 유사한 기능을 기반으로 데이터 세트를 그룹화합니다.  

예를 들어 '자동차'와 '차량'이라는 단어를 생각해 보세요. 이 두 단어는 글자는 다르지만 의미는 비슷합니다. AI 애플리케이션에서 효과적인 시맨틱 검색을 가능하게 하려면 '자동차'와 '차량'의 벡터 표현이 의미론적 유사성을 캡처해야 합니다. 머신 러닝에서 임베딩은 이러한 의미 정보를 인코딩하는 고차원 벡터를 나타냅니다. 이러한 벡터 임베딩은 추천, 챗봇 및 ChatGPT와 같은 생성형 앱의 근간을 이룹니다.

지식 그래프는 객체 또는 이벤트와 같은 엔터티의 네트워크를 나타내며, 이들 간의 관계를 나타냅니다. 그래프 데이터베이스는 지식 그래프 정보를 저장하고 이를 그래프 구조로 시각화하는 데 적합한 데이터베이스입니다. 그래프 데이터베이스는 알려진 개체와 개체 간의 복잡한 관계를 나타내는 노드와 에지를 기반으로 구축되는 반면, 벡터 데이터베이스는 고차원 벡터를 기반으로 구축됩니다. 결과적으로 그래프 데이터베이스는 데이터 포인트 간의 복잡한 관계를 처리하는 데 선호되는 반면, 벡터 데이터베이스는 이미지나 동영상과 같은 다양한 형태의 데이터를 처리하는 데 더 적합합니다.

특히 고객 관리 및 인사/인재 채용과 같은 주요 사용 사례에서 빠른 출시 기간, 효율적인 추론 및 신뢰할 수 있는 결과물을 얻기 위해 생성형 AI 워크플로우에서 검색 증강 생성(RAG) 접근 방식을 선호하는 기업이 점점 더 많아지고 있습니다. RAG는 모델이 신뢰할 수 있고 가장 최신인 사실과 연결되고, 사용자가 모델의 출처에 액세스할 수 있도록 하여 모델의 주장이 정확한지 확인할 수 있도록 지원합니다. RAG는 신뢰할 수 있는 데이터에 대규모 언어 모델을 확고하게 구축하여 모델 할루시네이션을 줄이는 기능의 핵심입니다. 이 접근 방식은 고차원 벡터 데이터를 활용하여 파운데이션 모델에 의한 상황별 학습을 위해 의미적으로 관련성이 높은 정보로 프롬프트를 강화하는 데 중점을 둡니다. 많은 양의 데이터를 처리하는 추론 단계에서 저장 및 검색을 효과적으로 처리할 수 있어야 합니다. 벡터 데이터베이스는 이러한 고차원 벡터를 효율적으로 인덱싱, 저장 및 검색하는 데 탁월한 성능을 발휘하여 추천 엔진 및 챗봇과 같은 애플리케이션에 필요한 속도, 정밀도 및 확장성을 제공합니다.

엔터프라이즈 AI 기반 애플리케이션을 개선하기 위해 벡터 데이터베이스 기능에 대한 관심과 도입이 빠르게 증가하고 있는 것은 분명하지만, 다음과 같은 장점도 비즈니스 가치를 입증하고 있습니다. 

속도 및 성능: 벡터 데이터베이스는 다양한 인덱싱 기술을 사용하여 검색 속도를 향상합니다. 벡터 인덱싱 및 가장 가까운 이웃 검색과 같은 거리 계산 알고리즘은 최적화된 성능을 제공하여 수십억 개까지는 아니더라도 수백만 개의 데이터 포인트에서 관련 결과를 검색하는 경우 특히 유용합니다. 

확장성: 벡터 데이터베이스는 수평적 확장을 통해 방대한 양의 비정형 데이터를 저장하고 관리할 수 있으며, 쿼리 수요와 데이터 볼륨이 증가해도 성능을 유지합니다.

소유 비용: 벡터 데이터베이스는 파운데이션 모델을 처음부터 학습시키거나 미세 조정해야 하는 경우에 유용한 대안으로 사용될 수 있습니다. 이를 통해 파운데이션 모델의 비용과 추론 속도를 줄일 수 있습니다.

유연성: 벡터 데이터베이스는 이미지, 동영상 또는 기타 다차원 데이터 등 데이터의 종류와 관계없이 복잡성을 처리할 수 있도록 구축되었습니다. 시맨틱 검색에서 대화형 AI 애플리케이션에 이르기까지 다양한 사용 사례가 있다는 점을 고려할 때, 벡터 데이터베이스는 비즈니스 및 AI 요구 사항에 맞게 맞춤화하여 사용할 수 있습니다. 

LLM의 장기 메모리: IBM watsonx.ai의 Granite 시리즈 모델, Meta의 Llama-2 또는 Google의 Flan 모델과 같은 범용 모델로 시작한 후 벡터 데이터베이스에 자체 데이터를 제공하여 검색 증강 생성에 중요한 모델 및 AI 애플리케이션의 아웃풋을 개선할 수 있습니다. 

데이터 관리 구성 요소: 벡터 데이터베이스는 일반적으로 새로운 비정형 데이터를 쉽게 업데이트하고 삽입할 수 있는 기능을 기본으로 제공합니다. 

벡터 데이터베이스의 응용 분야는 방대하고 계속 성장하고 있습니다. 몇 가지 사용 사례는 다음과 같습니다.

시맨틱 검색: 쿼리의 의미나 문맥에 따라 검색을 수행하여 보다 정확하고 관련성 높은 결과를 얻을 수 있습니다. 시맨틱 벡터 검색 기능은 단어 뿐만 아니라 구문도 벡터로 표현할 수 있으므로, 일반 검색어보다 사용자의 의도를 더 잘 이해합니다. 

유사성 검색 및 애플리케이션: 고급 이미지 및 음성 인식, 자연어 처리 등을 포함한 콘텐츠 검색을 위해 유사한 이미지, 텍스트, 오디오 또는 비디오 데이터를 쉽게 찾을 수 있습니다. 

추천 엔진: 예를 들어, 전자 상거래 사이트는 벡터 데이터베이스와 벡터를 사용하여 고객 선호도와 제품 속성을 표시할 수 있습니다. 이를 통해 벡터 유사성을 기반으로 고객이 과거에 구매한 것과 유사한 상품을 제안하여 사용자 경험을 개선하고 유지율을 높일 수 있습니다.

대화형 AI: 관련 지식 기반을 효율적이고 정확하게 구문 분석하여 사용자 쿼리에 대한 실시간 컨텍스트 답변을 제공하고, 참조용 소스 문서 및 페이지 번호를 제공하는 기능을 개선해 가상 에이전트의 상호 작용을 향상합니다.