Jak mierzyć chatboty? Czyli jakie wskaźniki są istotne

Jak mierzyć chatboty?

Jeśli myślicie, że tworzenie chatbotów kończy się na jego implementacji i wdrożeniu to muszę Was zmartwić – to dopiero początek przygody. Podobnie jak w innych dziedzinach, tak i w przypadku chatbotów, monitorowanie użycia i wydajności oraz reakcja na wkaźniki to kluczowy element sukcesu. W dobie sztucznej inteligencji i rozwijającej się w szybkim tempie technologii, użytkownicy botów oczekują konwersacji, jak najbardziej zbliżonej do rozmowy z prawdziwym człowiekiem. Różnego rodzaju wskaźniki i metryki, odpowiednio zdefiniowane, są podpowiedzią, która może nas uświadomić czy nasz chatbot spełnia oczekiwania użytkowników. Jak mierzyć chatboty? Tego dowiecie się z dalszej części artykułu.

KPI

Każdy szanujący się produkt i biznes musi być w jakiś sposób mierzony. W końcu istotną informacją jest ilu klientów przybywa, czy produkt się rozwija i w jakim tempie oraz czy przynosi zyski. Nie inaczej jest z chatbotami – aby weryfikować jego skuteczność i rozwój musimy go w jakiś sposób mierzyć. Wskaźniki, które obierzemy do monitoringu to tzw. KPI (ang. Key Performance Indicators) i mogą być one różne dla różnych produktów. Zanim wybierzemy wskaźniki, które będziemy monitorować musimy odpowiedzieć sobie na pytanie co sprawia, że nasz biznes się rozwija. W dalszej części spróbujemy sobie odpowiedzieć na pytanie, jakie miary są istotne w przypadku chatbotów i jakie wskaźniki stosować, aby określić czy nasz chatbot się rozwija.

Jak mierzyć chatboty?

Aktywni użytkownicy

Jedną z podstawowych miar większości produktów jest wskaźnik aktywnych użytkowników. Samo zdobycie subskrybentów chatbota nie jest tak trudne, jak spowodowanie, aby aktywnie z niego korzystali. Jeśli wskaźnik ten maleje w czasie może to oznaczać konieczność ingerencji w konwersacje przeprowadzane przez chatbota. Trend wzrostu natomiast poinformuje nas o tym, że funkcjonalności, które chatbot posiada są dla użytkowników atrakcyjne i rozwojowe.

Wskaźnik zadowolenia

Skoro chatbot symuluje codzienną konwersację nic nie stoi na przeszkodzie, aby spytał się użytkowników o kluczowe dla nas informacje. Jedną z nich jest poziom zadowolenia subskrybenta. Możemy to zrealizować pytając użytkownika o poziom zadowolenia lub o informację zwrotną na temat interesującej nas funkcjonalności.

jak mierzyć chatbota?

Liczba odpowiedzi awaryjnych

Każdy chatbot znajduje się w końcu w sytuacji, że nie jest w stanie poprawnie odpowiedzieć użytkownikowi, bo go nie rozumie. W takim sytuacjach wysyła jedną z odpowiedzi tzw. awaryjnych (ang. fallback message). I właśnie liczba takich wiadomości może być jednym z naszych wskaźników, które warto monitorować. Oczywistym jest, że im mniejsza ta liczba, tym nasz chatbot jest inteligentniejszy i jest w stanie odpowiedzieć na większą liczbę wiadomości.

Jak mierzyc chatboty?

Długość sesji

Podczas, gdy idealna długość sesji użytkownika może się różnić w zależności od kontekstu to bardzo często mała liczba kroków wykonanych przez użytkownika może świadczyć o problemie. W związku z sytuacjami zawieszenia rozmowy, warto zaimplementować mechanizm timeout’u, aby rozmowa nie wisiała w nieskończoność.

Wskaźnik ten nie należy jednak interpretować bez ogólnego kontekstu – krótkie konwersacje mogą bowiem oznaczać, że użytkownik szybko osiągnął swój cel, a nie, że się zdenerwował i opuścił chatbota.