watsonx Assistant의 분석 페이지는 챗봇 대화 기록을 제공합니다. 이 기록을 사용하여 어시스턴트가 사용자 요청을 이해하고 응답하는 방식을 개선하며, 자연어 처리(NLP) 챗봇 성능을 검증할 수 있습니다.

컨테인먼트: 사람의 개입 없이 어시스턴트가 고객의 요청을 충족할 수 있는 대화 수입니다.

커버리지: 어시스턴트가 고객 요청을 처리할 수 있다고 확신하는 대화 수입니다.

총 대화 수: 선택한 기간 동안 활성화 사용자와 어시스턴트 간 총 대화 수입니다.

대화당 평균 메시지: 선택한 기간 동안 받은 총 메시지를 선택한 기간의 총 대화로 나눈 값입니다.

총 메시지: 선택한 기간 동안 활성화 사용자로부터 받은 총 메시지 수입니다.

활성 사용자: 선택한 기간 동안 어시스턴트에 참여한 개별 사용자 수입니다.

사용자당 평균 대화 수: 총 대화를 선택한 기간 동안의 총 고유 사용자 수로 나눈 값입니다.

유지율: 주어진 시간 내에 챗봇을 다시 사용한 사용자의 비율입니다.

모두 보려면 작업 완료 페이지를 사용하세요.

분석 개요 페이지는 챗봇 상호작용에 대한 요약을 제공합니다. 사용자 대화에서 가장 자주 인식되는 의도와 엔터티뿐만 아니라 지정된 기간 동안 트래픽 양을 확인할 수 있습니다.

일, 주, 월 또는 분기 동안 챗봇 데이터 분석을 확인하는 것과 같이 메트릭을 선택할 수 있습니다. 사례별로 그래프의 데이터 포인트는 적절한 측정 기간으로 조정됩니다. 예를 들어, 1일 간 그래프를 볼 때는 데이터가 시간에 따른 수치로 표시되지만 1주 간 그래프를 볼 때는 데이터가 일별로 표시됩니다. 일주일은 항상 일요일부터 토요일까지입니다. 목요일부터 다음 주 수요일까지의 일주일 또는 첫 번째 날짜가 아닌 다른 날짜에 시작하는 한 달과 같이 사용자가 지정하는 기간을 만들 수도 있습니다.

챗봇 분석 툴은 이해도가 약한 개별 메시지 수를 측정할 수 있습니다. 이 메시지는 의도로 분류되지 않으며, 알려진 엔터티를 포함하지 않습니다. 인식되지 않는 메시지를 검토하면, 상담의 잠재적인 문제를 식별하는 데 도움이 될 수 있습니다.

기본 제공 메트릭을 사용하여 고객과 어시스턴트 간의 대화 기록을 분석하면 얼마나 잘 수행되고 있는지를 측정하고 개선이 필요한 부분을 식별할 수 있습니다.

watsonx Assistant의 분석 대시보드는 사용자와 배치된 어시스턴트 간 대화 이력을 제공합니다. 이 사용 사례에서는 어시스턴트와 상호작용하는 사용자 수를 측정하기 위한 이력입니다.

하나의 대화는 활성화 사용자가 어시스턴트에게 보내는 메시지와 어시스턴트가 대화를 시작하거나 응답하기 위해 사용자에게 보내는 메시지로 구성됩니다. 어시스턴트가 "안녕하세요, 무엇을 도와드릴까요?"라고 시작하고, 사용자가 응답하지 않고 브라우저를 닫는 경우 해당 메시지는 총 대화 수에 포함됩니다.

watsonx Assistant의 분석 대시보드는 사용자와 배치된 어시스턴트 간 대화 이력을 제공합니다. 이 기록을 사용하여 총 대화 및 메시지 수를 확인할 수 있습니다.

컨테인먼트를 정확하게 측정하려면, 메트릭은 사람의 개입이 발생하는 시점을 식별할 수 있어야 합니다. 메트릭은 주로 상담 직원 응답으로의 연결 유형을 지표로 사용합니다. 사용자 대화 이력에 상담 직원 연결 응답 유형에 대한 호출이 포함되어 있으면, 해당 대화는 포함되지 않는 것으로 간주됩니다.

챗봇은 사용자로부터 받은 메시지에 지능적으로 응답할 수 없을 때 대체 메시지를 트리거합니다.

Watson Natural Language Understanding(NLU)와 통합하면 감성 분석을 측정할 수 있습니다.

기술 개발 버전의 분석 탭에서 프로덕션에서 실행 중인 기술 버전에 대한 로그를 볼 수 있습니다. 잘못된 분류나 기타 문제를 발견하면, 기술의 개발 버전에서 수정하고 테스트 후 개선된 버전을 프로덕션에 배포할 수 있습니다. 자세한 내용은 어시스턴트 간 개선 페이지를 참조하세요.