홈
Think
주제
추천 엔진
발행일: 2024년 6월 19일
참여자: 이리나 카발라, 콜 스트라이커
추천 엔진은 사용자가 스스로는 찾지 못했을 콘텐츠, 제품 또는 서비스를 발견할 수 있게 도와줍니다. 이러한 시스템은 전자 상거래 웹사이트, 미디어 스트리밍 플랫폼, 검색 엔진, 소셜 미디어 네트워크 등 많은 온라인 비즈니스에서 매출을 창출하고 참여를 유도하는 데 꼭 필요한 요소입니다.
추천기는 다음에 볼 영화 또는 영상, 다음에 들을 만한 비슷한 음악, 관련 검색 결과 또는 특정 주문을 보완하는 제품을 제안합니다.
추천 시스템에서 생성된 제안은 사용자 경험을 개인화하는 데도 중요한 역할을 합니다. 경영 컨설팅 회사 McKinsey(ibm.com 외부 링크)의 연구에 따르면, 개인화를 통해 5~15% 더 많은 수익을 창출할 수 있습니다. 또한 고객의 76%는 개인화된 상호 작용을 경험하지 못할 때 불만을 느낍니다.
추천 시스템 시장은 성장하고 있습니다. 추천 엔진 시장(ibm.com 외부 링크)의 규모는 2024년 기준 68억 8천만 달러로 추산되며, 5년 안에 3배로 늘어날 것으로 예상됩니다.
파운데이션 모델 사용자 지정을 가능하게 하는 AI 플랫폼의 이점을 알아보세요.
추천 엔진은 데이터 과학과 머신 러닝을 결합하여 사용자에게 적합한 제안을 타겟팅합니다.
가장 정확한 추천을 예측하기 위해 추천기는 5단계로 작동합니다.
추천 시스템의 기초는 데이터이므로 데이터 수집은 매우 중요한 첫 번째 단계입니다. 수집되는 데이터는 명시적 데이터와 암시적 데이터의 두 가지 유형으로 구분됩니다.
명시적 데이터에는 댓글, 좋아요, 평점, 후기 등의 사용자 행동과 활동이 포함됩니다. 암시적 데이터는 브라우징 기록, 장바구니 이벤트, 클릭, 과거 구매 및 검색 기록과 같은 사용자 행동으로 구성됩니다.
또한 추천기는 인구통계(연령 또는 성별) 및 심리통계(관심사 또는 라이프스타일)와 같은 다른 고객 데이터를 사용하여 유사한 사용자를 찾고, 가격대 또는 품목 유형과 같은 특징 데이터를 사용하여 관련 제품 또는 서비스를 결정합니다.
데이터를 수집한 후 다음 단계는 데이터를 저장하는 것입니다. 스토리지 시스템의 종류는 수집된 데이터 유형에 따라 다릅니다.
데이터 웨어하우스는 데이터 분석 및 머신 러닝을 지원하기 위해 다양한 소스의 데이터를 집계할 수 있으며, 데이터 레이크는 정형 데이터와 비정형 데이터를 모두 저장할 수 있습니다.
데이터 레이크하우스는 데이터 웨어하우스와 데이터 레이크의 장점을 하나의 데이터 관리 솔루션으로 결합합니다.
분석 단계에서는 머신 러닝 알고리즘을 사용하여 데이터 세트를 처리하고 검사합니다. 이러한 알고리즘은 패턴을 감지하고, 상관관계를 파악하며, 이 패턴과 상관관계의 강도를 평가합니다. 머신 러닝 모델은 대규모 데이터 세트를 학습하여 적합한 추천을 제시할 수 있습니다.
마지막 단계는 이전 분석 단계의 데이터를 필터링하여 가장 관련성 있는 항목을 보여주는 것입니다. 사용되는 추천 엔진의 유형에 따라, 특정 수학적 규칙과 공식을 데이터에 적용하는 작업이 데이터 필터링에 포함됩니다.
추천 시스템의 아웃풋을 정기적으로 평가하고 모델을 더욱 최적화하여 정확도와 품질을 지속적으로 개선하기 위해 선택적으로 정제 단계를 추가할 수 있습니다.
추천기는 사용하는 필터링 방법에 따라 다릅니다. 추천 엔진에는 일반적으로 3가지 유형이 있습니다.
협업 필터링 시스템은 특정 사용자와 다른 사람의 유사성을 기준으로 추천을 필터링합니다. 협업 추천 시스템은 명시적 및 암시적 데이터를 활용하며, 비슷한 선호도를 가진 사용자가 동일한 항목에 관심을 가질 가능성이 높고, 향후 유사한 방식으로 상호 작용할 가능성이 높다고 가정합니다.
예를 들어, Amazon(ibm.com 외부 링크)은 협업 필터링을 사용해 제품을 추천하고, Spotify(ibm.com 외부 링크) 역시 이 방식을 통해 오디오 콘텐츠을 추천합니다.
협업 필터링 추천 시스템은 효과적인 추천을 제공할 수 있으며 일반적으로 자세한 항목 설명이 필요하지 않습니다. 하지만 협업 필터링은 특히 신규 사용자의 경우와 같이 시스템에서 가져올 수 있는 기록 데이터가 제한되어 있을 때 콜드 스타트 문제가 발생하기 쉽습니다.
협업 필터링 시스템에는 메모리 기반과 모델 기반의 두 가지 주요 유형이 있습니다.
메모리 기반 시스템은 사용자와 항목을 매트릭스로 표현합니다. 유사한 사용자 또는 유사한 항목일 수 있는 '최근접 이웃'을 찾는 것을 목표로 한다는 점에서 K-최근접이웃(KNN) 알고리즘의 연장 선상에 있다고 할 수 있습니다. 메모리 기반 시스템은 다시 두 가지 유형으로 세분화됩니다.
반면 모델 기반 시스템은 데이터에 대한 예측 머신 러닝 모델을 생성합니다. 사용자 항목 행렬이 모델의 학습 데이터 세트 역할을 하며, 이를 통해 누락된 값, 즉 사용자가 아직 찾지 못하여 추천할 항목에 대한 예측을 산출합니다.
가장 일반적으로 사용되는 모델 기반 협업 필터링 알고리즘 중 하나는 행렬 인수분해입니다. 이 차원 축소 방법은 종종 큰 사용자-항목 행렬을 사용자 행렬과 항목 행렬의 두 개의 작은 행렬로 분해하며, 이 작은 행렬은 선택된 몇 개의 차원을 갖습니다. 그런 다음 두 행렬을 곱하여 더 큰 행렬에서 누락된 값(또는 추천)을 예측합니다.
더욱 발전된 행렬 인수분해에서는 딥 러닝 신경망을 활용합니다. 다른 모델 기반 시스템은 베이즈 분류기, 클러스터링, 의사 결정 트리와 같은 머신 러닝 알고리즘을 사용합니다.
콘텐츠 기반 필터링 시스템은 항목의 특징을 기반으로 추천을 필터링합니다. 콘텐츠 기반 추천 시스템에서는 사용자가 특정 항목을 좋아하면 다른 유사한 항목도 좋아할 것이라고 가정합니다. 콘텐츠 기반 필터링에서는 명시적 및 암시적 데이터와 함께 키워드 및 태그에 의해 할당된 색상, 카테고리, 가격 및 기타 메타데이터와 같은 항목 설명을 고려합니다.
콘텐츠 기반 필터링 시스템은 항목과 사용자를 벡터 공간의 벡터로 나타냅니다. 항목 간의 유사성을 결정하는 데는 근접성이 사용됩니다. 두 벡터가 공간적으로 가까울수록 더 유사한 것으로 간주됩니다. 제공된 특징에 따라 이전 항목과 유사한 벡터를 사용자에게 추천합니다.
콘텐츠 기반 추천 시스템은 사용자 기반 분류기 또는 회귀 모델을 적용합니다. 사용자가 관심을 갖는 항목에 대한 설명과 특징이 모델의 학습 데이터 세트 역할을 하여 추천 항목에 대한 예측을 제공합니다.
자연어 처리 태그를 사용하면 콘텐츠 기반 추천 시스템을 더욱 개선할 수 있습니다. 그러나 대량의 데이터에 대해서는 이러한 태깅 프로세스가 번거로울 수 있습니다.
콘텐츠 기반 필터링은 협업 필터링과 달리 과거의 사용자 상호 작용이 아닌 메타데이터 특성을 기반으로 하므로 콜드 스타트 문제가 발생할 가능성이 낮습니다. 그러나 콘텐츠 기반 필터링은 사용자가 이전에 좋아했던 항목과 유사한 항목을 추천하는 경우가 많기 때문에 새로운 항목을 탐색하는 데 한계가 있을 수 있습니다.
이름에서 알 수 있듯, 하이브리드 추천 시스템은 협업 필터링과 콘텐츠 기반 필터링을 결합한 시스템입니다.
하이브리드 접근 방식은 추천 엔진의 성능을 크게 향상할 수 있지만 고급 아키텍처와 집약적인 계산 능력이 필요합니다.
예를 들어 Netflix는 하이브리드 추천 시스템(ibm.com 외부 링크)을 사용해 영화와 TV 프로그램을 추천합니다.
추천 엔진은 비즈니스와 사용자 모두에게 가치를 제공할 수 있습니다. 조직이 추천 시스템에 투자하여 얻을 수 있는 몇 가지 이점은 다음과 같습니다.
올바른 제품이나 서비스를 추천하면 사용자가 방대한 카탈로그를 끝없이 스크롤하는 시간을 절약할 수 있습니다. 예를 들어, 시청자가 Netflix에서 시청하는 콘텐츠의 80%는 추천 알고리즘을 기반으로 하는 추천 콘텐츠에서 비롯됩니다. 또한 관련 콘텐츠를 제안하면 개인화된 경험으로 이어집니다.
McKinsey의 연구에 따르면 향상된 고객 경험(ibm.com 외부 링크)이란 정확히 20% 더 높아진 고객 만족도라고 합니다. 만족한 고객은 브랜드에 대한 참여도와 충성도가 높아져 기업이 신뢰를 쌓고 더 많은 고객을 유지할 수 있습니다.
개인화된 추천을 제공하면 사용자가 더 많은 항목을 보고 클릭하도록 유도하여 사용자를 구매자로 전환할 수 있습니다. McKinsey는 보다 긍정적이고 개인화된 고객 경험을 제공하면 판매 전환율이 10~15% 증가한다는 사실을 발견했습니다.
고객 전환은 판매를 촉진하고, 판매는 수익을 창출합니다. McKinsey에 의하면 구매자가 Amazon에서 구매하는 제품의 35%가 제품 추천을 통해 발생한다고 합니다(ibm.com 외부 링크). 한편, Netflix는 추천 시스템을 통해 10억 달러 이상의 비용을 절감한 것으로 추정하고 있습니다.
추천 시스템에는 한계가 있으며, 조직에 문제를 야기합니다. 가장 일반적인 몇 가지 문제는 다음과 같습니다.
추천 엔진은 방대한 양의 데이터를 분석하고 필터링하는 작업을 수반합니다. 이를 위해서는 상당한 금액을 투자해 복잡한 아키텍처와 컴퓨팅 리소스를 확보해야 합니다.
추천 시스템은 실시간으로 적합한 추천을 결정하고 표시할 수 있을 만큼 빨라야 합니다. 수백만 명은 물론 수백, 수천 명의 사용자에게 동시에 실시간 추천을 제공해야 하는 경우에는 이 작업이 더욱 어려워집니다.
잘못된 메트릭을 중심으로 머신 러닝 알고리즘을 최적화하면 관련 없는 추천이 발생할 수 있습니다. 새롭거나 잘 알려지지 않은 항목이나 리뷰가 적은 항목보다 평점이 높은 항목이 더 자주 추천될 수 있습니다. 그러나 가장 인기 있거나 가장 많이 구매한 상품이 고객의 관심을 끄는 상품이 아닐 수도 있습니다.
머신 러닝 알고리즘은 수집된 데이터, 태그가 지정된 데이터, 학습 데이터 또는 외부 데이터 소스 등 데이터에 존재하는 사회적 편향을 학습하거나, 모델을 조정하는 인간 평가자로부터 학습할 수 있습니다. 이로 인해 추천이 부정확해질 수 있습니다.
일부 사용자는 개인정보 보호 문제로 인해 추천 시스템을 위한 기업의 데이터 수집 이니셔티브를 거부할 수 있습니다. 또한 기업은 데이터를 수집하고 저장할 때 규제 요건과 규정 준수 표준을 고려해야 할 수도 있습니다.
다음은 기업이 추천 시스템을 사용할 수 있는 몇 가지 방법입니다. 추천 기술이 발전함에 따라 다른 사용 사례와 적용 분야가 등장할 수 있습니다.
소매업체와 온라인 판매자는 추천 엔진을 사용해 매출을 증대할 수 있습니다. 추천 시스템은 다른 쇼핑객이 구매한 항목 또는 쇼핑객이 이미 주문한 제품과 잘 어울리는 제품을 추천할 수 있습니다.
추천 시스템은 위치 기반 또는 계절별 추천, 신제품 또는 할인된 품목을 홍보하는 데 사용할 수 있습니다. 이러한 시스템은 잘 구매하지 않는 품목의 도달 범위를 늘려 인기 품목과 함께 묶음으로 추천하거나 자주 구매하는 품목으로 추천하는 데에 사용할 수도 있습니다.
Amazon은 추천 엔진을 사용하는 전자 상거래 회사의 대표적인 예입니다.
추천 시스템은 과거 데이터와 사용자 선호도를 기반으로 사용자가 참여하고 마음에 들어 할 가능성이 높은 관련 콘텐츠를 제안할 수 있습니다.
이러한 시스템은 다음에 즐길 만한 TV 시리즈, 전자책, 뮤지션, 게임, 콘서트 등 개인화된 추천을 제공하여 사용자 경험을 개선합니다.
Netflix, Spotify 및 YouTube는 미디어 및 엔터테인먼트 분야에서 추천 시스템을 사용하는 기업입니다.
여행 및 숙박 부문에서는 추천 엔진이 개인의 예산과 여행 이력에 따라 호텔 및 숙박 옵션, 레스토랑, 액티비티 및 체험을 제안할 수 있습니다.
이러한 맞춤형 여행 추천은 여행자의 니즈를 충족하여 고객 만족도를 높입니다.
조직은 추천 엔진을 사용하여 적합한 잠재 고객을 확장할 수 있습니다. 추천기는 새로운 서비스를 소개하고 잠재 고객을 유치하기 위해 블로그 게시물, 사례 연구, 웨비나 또는 백서와 같은 콘텐츠를 제안할 수 있습니다.
그런 다음 마케팅 팀이 뉴스레터, 소셜 미디어 광고 및 타겟 이메일 메시지를 통해 이러한 추천을 제공할 수 있습니다.
IT 운영을 위한 AIOps 또는 인공 지능은 AI를 적용하여 IT 서비스 관리와 운영 워크플로를 자동화하고 간소화합니다.
AIOps에서 추천 엔진을 사용하여 솔루션을 제안함으로써 IT 운영 팀이 신속하게 조처하고 기술 문제에 적절히 대응할 수 있도록 지원할 수 있습니다.
생성형 AI, 파운데이션 모델, 머신 러닝 모델을 쉽게 훈련, 검증, 조정 및 배포할 수 있으며 적은 데이터로 짧은 시간 내에 AI 애플리케이션을 구축할 수 있습니다. IBM watsonx.ai는 파운데이션 모델로 구동되는 새로운 생성형 AI 기능과 기존 머신 러닝을 AI 라이프사이클을 아우르는 스튜디오로 결합합니다.
강력하고 유연한 라이브러리, 서비스 및 애플리케이션 포트폴리오로 AI의 비즈니스 가치를 가속화하세요.
탁월한 고객 및 직원 경험을 제공하기 위해 데이터 사일로를 제거하고, 복잡성을 줄이며, 데이터 품질을 개선해 주는 데이터 전략을 구축하세요.
데이터 패브릭 아키텍처로 구축한 플랫폼을 활용하여 결과를 더 빠르게 예측합니다. 데이터 상주 위치에 구애받지 않고 데이터를 수집, 구성, 분석합니다.
IBM Watson Knowledge Studio를 사용하여 특정 도메인에 대한 사용자 정의 언어 분석 모델을 작성합니다.
추천 시스템을 구현한 실제 사례를 이 사례 연구에서 살펴보세요.
IBM Case Manager가 IBM Watson Machine Learning, IBM Watson Visual Recognition 및 IBM Watson OpenScale을 사용하여 AI 추천 모델을 사용하여 어떻게 보험 청구의 유효성을 확인하는지 알아보세요.
일상 생활의 일부가 된 머신 러닝의 실제 적용 사례를 살펴보세요.
예측 분석의 정의, 이점, 유형 및 사용 사례를 알아보세요.
최신 데이터 플랫폼을 통해 조직의 데이터를 변환하고 분석하여 의사 결정을 개선하는 방법을 자세히 알아보세요.