Jak skutecznie mierzyć AI w produktach: framework trzech typów metryk #EN122

TL;DR – kluczowe punkty z prezentacji

Marketing AI przypomina erę „user-friendly” – według Spoola firmy dodają słowo „AI” ze strachu przed pozostaniem w tyle
Spool identyfikuje poważne ograniczenia AI: problemy z dokładnością, brak determinizmu, nieprzejrzystość procesów
Framework trzech metryk Spoola: success metrics, progress metrics, problem value metrics
Główna teza: mierz zmiany w życiu użytkowników, nie zmiany w produkcie
Kluczowy cytat: „Szkolenie to przeciwieństwo użyteczności”
Spool podkreśla: badania terenowe pozostają niezbędne – nie ma automatycznych alternatyw
Ostrzeżenie dla organizacji: third-party AI wymaga mierzenia kosztów niedoskonałości

Wprowadzenie: obserwacje Spoola o obecnym stanie AI

Spool rozpoczyna prezentację od przykładu strony firmy produkującej oprogramowanie do zakupów. Słowo „AI” pojawiało się dziesięć razy tylko na stronie głównej. Każda funkcja była opisana jako „AI-driven” lub „intelligent”.

Według Spoola ten fenomen napędza strach. Organizacje boją się zostać w tyle, jeśli nie będą oferować czegoś opartego na AI. Spool identyfikuje problem: nikt nie wie, co oznacza posiadanie produktu z AI, który rzeczywiście poprawia doświadczenia.

Jak zauważa prelegent, już codziennie korzystamy z AI – aplikacje pogodowe, nawigacja, Amazon Echo. Ale nie zastanawiamy się nad technologią, tylko nad tym, czy działa.

Analiza Spoola: rzeczywistość vs. obietnice AI

Spool przywołuje przypadek firmy Klarna, która rok temu zastąpiła pracowników obsługi klienta chatbotami, by w tym roku wrócić do ludzkiej obsługi z powodu niezadowolenia klientów.

Bariery AI według Spoola:

Problemy z dokładnością – Spool podaje przykład Chicago Sun Times, które opublikowało listę 15 książek, z których 10 było zmyślonych
Brak determinizmu – te same prompty dają różne wyniki
Nieprzejrzystość procesów – brak możliwości wyjaśnienia, jak system doszedł do wniosków
Skomplikowane prompty – Spool obserwuje, że LinkedIn jest pełen porad o promptowaniu
Niestabilne modele biznesowe – według Spoola OpenAI traci 700 000$ dziennie na kontach premium
Problemy z prawami autorskimi – Spool wspomina przypadek Figma, które musiało wycofać narzędzie po plagiacie

Refleksje Spoola o przyszłości AI

Spool spekuluje o niepewnej przyszłości – czy za pięć lat będziemy w świecie techno-optymistów, czy osiągnęliśmy szczyt możliwości.

Spool przewiduje, że użytkownicy często negatywnie reagują na świadomość używania AI. Prawdopodobnie wkrótce zobaczymy produkty reklamujące się jako „AI free”.

Jak podkreśla Spool, istnieją dwie grupy ludzi: ci, którzy używają produktu i znają swoje doświadczenia, oraz stakeholderzy odizolowani od użytkowania. Jedyne źródło wiedzy tych drugich to historie opowiadane przez metryki.

Framework Spoola: trzech typów metryk

Definicje według Spoola

Metryka – pomiar, który śledzimy (Spool podkreśla: nic magicznego)
Pomiar – zmiana, którą możemy zaobserwować
KPI – ważne metryki (drugi poziom filtrowania)
Analytics – metryki, które komputery śledzą automatycznie

Spool ostrzega: błędem jest ograniczanie się tylko do analytics.

Kluczowe rozróżnienie: outcomes vs. outputs

Spool wyjaśnia, że outcome to zmiana w świecie, którą chcemy zobaczyć. To różni się od zwykłego dostarczenia czegoś (output). Outcomes z definicji są lepsze lub gorsze.

Pytanie, które stawia Spool: jeśli wykonamy świetną robotę z tą funkcjonalnością, czyje życie poprawimy i w jaki sposób?

Trzy typy metryk w ujęciu Spoola:

1. Success metrics – moment osiągnięcia celu

Według Spoola mierzą precyzyjny moment, gdy użytkownik otrzymuje doświadczenie, do którego dążymy
Przykład z prezentacji: Edna może sprawnie zatwierdzić kontrakt

2. Progress metrics – droga do sukcesu

Spool wyjaśnia: śledzą poprawę doświadczeń użytkowników
Pokazują przejście od frustracji do zadowolenia
Kluczowe: mierzą zmiany w życiu użytkowników, nie w produkcie

3. Problem value metrics – koszt problemów

Według Spoola przekładają frustracje na kwoty pieniężne
Mierzą koszty wsparcia, szkoleń, utraconych możliwości
Spool zauważa: często najłatwiej przyciągają uwagę decydentów

Przykład z prezentacji: dzień Edny

Spool szczegółowo opisuje workflow specjalistki ds. zakupów. Edna zaczyna dzień zadowolona, ale frustruje się, gdy brakuje informacji o vendorze. System nie pomaga. Dzwoni do supervisora – zadowolenie wraca. Ale warunki vendora nie pasują do polityki – ponowna frustracja.

Spool podkreśla: ta skala od frustracji do zadowolenia to podstawa pomiaru doświadczeń.

Wyzwania implementacji według Spoola

Chatboty dla customer service – obserwacje z Q&A

W sesji pytań Spool wyjaśnia Michaelowi, że przedstawiciele obsługi traktują chatboty jak wyszukiwarki. Zostali do tego przyzwyczajeni. Stosują „prairie dogging” – wyskakują znad biurek, szukając pomocy.

Kluczowy cytat Spoola: „Szkolenie to przeciwieństwo użyteczności” – jeśli trzeba tworzyć materiały szkoleniowe, produkt jest bezużyteczny.

Spool radzi: rozwiązanie wymaga spędzenia czasu z użytkownikami. Nie ma skrótów.

Third-party AI – przypadek z sesji Q&A

W rozmowie z Amy, Spool analizuje problemy organizacji kupujących zewnętrzne AI. W narzędziach medycznych klinicyści muszą weryfikować wyniki przed zatwierdzeniem.

Spool pyta: jaki jest koszt obejść, gdy personel nie ufa systemowi?

Według Spoola kluczowa kwestia to minimalna akceptowalna dokładność. Jeśli klinicyści automatycznie nadpisują system – po co go mieć?

Zbieranie metryk – wskazówki Spoola

Badania terenowe jako fundament

Odpowiadając Charlotte, Spool podkreśla: nie ma sposobu na zebranie metryk bez zrozumienia doświadczeń. W edukacji oznacza to czas z nauczycielami w klasach.

Spool wyjaśnia: obserwacja kilku osób pozwala zidentyfikować wzorce. Połączenie z danymi z logów tworzy mocny argument biznesowy.

Ograniczenia automatyzacji według Spoola

Spool jasno stwierdza: narzędzia do automatycznego pomiaru satysfakcji w czasie rzeczywistym nie istnieją. Ważniejsze jest pytanie o źródła frustracji i zadowolenia.

Nic na rynku nie oferuje prawdziwej analizy doświadczeń – wiele rozwiązań udaje, że to robi.

Praktyczne wskazówki z webinaru

Lista kontrolna bazująca na prezentacji Spoola:

Przed implementacją (na podstawie framework outcomes):

Zdefiniuj, czyje życie ma poprawić funkcjonalność (pytanie Spoola)
Zmapuj obecne doświadczenia na skali frustracja-zadowolenie (przykład Edny)
Określ minimalną akceptowalną dokładność (przypadek medyczny z Q&A)
Zaplanuj badania terenowe (zalecenie Spoola dla Charlotte)

W trakcie wdrażania (framework trzech metryk):

Śledź success metrics – momenty osiągnięcia celu
Monitoruj progress metrics – poprawę w życiu użytkowników
Obliczaj problem value metrics – koszty frustracji w kwotach
Obserwuj workaround’y (obserwacja Spoola o third-party AI)

Dla third-party AI (na podstawie przypadku Amy):

Mierz częstotliwość korekt przez użytkowników
Śledź koszty wsparcia związane z błędami
Dokumentuj ryzyko reputacyjne i ekonomiczne
Przygotuj argumenty za zmianą dostawcy

Komunikacja z zarządem (zalecenia Spoola):

Przekładaj problemy na koszty biznesowe (problem value metrics)
Pokazuj skalę problemów (jakość + ilość)
Dokumentuj ukryte koszty wsparcia i szkoleń
Przygotuj plan na kryzys PR

Główne wnioski z prezentacji Spoola

Spool kończy stwierdzeniem, że AI nie ma znaczenia z perspektywy użytkowników. Edna nie dba o technologię, tylko o funkcjonalność.

Centralna teza Spoola: metryki powinny mierzyć zmiany w życiu użytkowników, nie w technologii. Framework trzech metryk dostarcza struktury do oceny wartości AI.

Według Spoola każde wydanie powinno poprawiać życie użytkowników. Liderzy UX mogą komunikować stakeholderom rzeczywisty wpływ AI na doświadczenia.

To są moje notatki z webinaru Jareda Spoola „The Best UX Metrics for AI-Based Functionality„. Materiał pochodzi z prezentacji i sesji Q&A, w której Spool odpowiadał na pytania uczestników o praktyczne wyzwania implementacji AI w produktach.