Poniższy artykuł stanowi notatki z podcastu „Experiencing Data with Brian O’Neill”, w którym gościem był Todd Olson, CEO Pendo. Wszystkie przedstawione przemyślenia, obserwacje i wnioski pochodzą od rozmówców.
TL;DR
- Tylko 15% użytkowników korzysta z zaawansowanych funkcji analitycznych – pozostałe 85% potrzebuje podstawowej pomocy
- Szablony z opisami wykresów są skuteczniejsze niż surowe dashboardy dla większości użytkowników
- AI może służyć jako most między prostotą a mocą, tworząc raporty i wyjaśniając proces ich budowy
- AI jest wolne od stronniczości – w przeciwieństwie do ludzi, którzy szukają danych potwierdzających założenia
- Akwizycje mogą być skuteczniejsze niż rekrutacja w pozyskiwaniu talentów AI
- Częstotliwość użycia jest lepszą metryką niż czas spędzony w produkcie
- Błąd aktualności to problem – ludzie ufają ostatnim rozmowom zamiast danym
- Sukces AI mierzy się przez zaangażowanie klientów i redukcję potrzeby wsparcia technicznego
- Przyszłość to AI jako towarzysz – narzędzia wspierające decyzje, jednak nie je zastępujące
Od early adopters do mainstream – ewolucja potrzeb użytkowników
Todd Olson z perspektywy dziesięciu lat budowania Pendo opisuje kluczową zmianę w podejściu do produktów analitycznych. Na początku firma sprzedawała głównie do early adopters – osób żądnych danych, które same potrafiły wyciągnąć spostrzeżenia z surowych informacji.
Sytuacja zmieniła się radykalnie, gdy Pendo zaczęło trafiać do szerszego rynku. Jak zauważa Olson, nowi użytkownicy nigdy wcześniej nie używali danych do podejmowania decyzji w swojej pracy. W rezultacie zespół musiał fundamentalnie przemyśleć podejście do produktu.
Problem nie leżał w braku danych, lecz w braku umiejętności ich interpretacji. Rozwiązaniem okazały się proste szablony z kontekstowymi wyjaśnieniami.
85% vs 15% – problem dysproporcji użytkowników
Jedna z najważniejszych obserwacji Olsona dotyczy sposobu korzystania z Data Explorer – zaawansowanej funkcji analitycznej Pendo. Statystyki są jednoznaczne: tylko około 15% użytkowników sięga po te narzędzia.
Pozostałe 85% potrzebuje czegoś zupełnie innego. Jak wyjaśnia CEO Pendo, te 15% to często eksperci w firmach, którzy tworzą dashboardy dla reszty organizacji.
Trudności pojawiają się w firmach, które nie mają takich ekspertów. Olson stwierdza, że nie mieli wystarczająco dużo klientów z odpowiednimi specjalistami w zespołach, dlatego ci nie wiedzieli nawet, od czego zacząć.
✅ Jak uniknąć dashboard fatigue
- Stwórz szablony dla najczęstszych przypadków użycia (np. adopcja funkcji)
- Dodaj tekstowe opisy do każdego wykresu
- Wyjaśnij, dlaczego konkretna metryka jest istotna
- Podaj konkretne wskazówki, co zrobić gdy wartość rośnie lub spada
- Przetestuj rozwiązanie z użytkownikami spoza zespołu data science
Olson podkreśla znaczenie tego podejścia, mówiąc, że inwestowali znacznie więcej w wyjaśnialność każdego wykresu i grafu, aby użytkownicy po prostu wiedzieli, jakie działanie powinni podjąć.
AI jako most między prostotą a mocą
Według Olsona sztuczna inteligencja może rozwiązać fundamentalny dylemat produktów analitycznych. Zamiast zmuszać użytkowników do wyboru między prostotą a mocą, AI może oferować oba podejścia jednocześnie.
Zespół Pendo buduje agentowe wersje swojego przepływu pracy. Użytkownicy będą mogli wpisać, co chcą zobaczyć, a system nie tylko da odpowiedź, ale także pokaże, jak zbudował raport w Data Explorer.
Konkretny przykład: projekt lokalizacji
Olson dzieli się praktycznym przypadkiem wykorzystania AI. Zespół pracował nad standardowym projektem lokalizacji produktu dla rynku japońskiego. Tradycyjne szacunki czasowe były wysokie. Gdy zapytali o wpływ AI, usłyszeli odpowiedź, że nie mają pojęcia, ponieważ nigdy tego wcześniej nie robili.
Jak wspomina CEO Pendo, musieli dać zespołowi przestrzeń na spędzenie kilku tygodni, może miesiąca, żeby naprawdę spróbować AI i zobaczyć wpływ. W efekcie szacunki znacznie spadły dzięki wykorzystaniu AI.
Kluczowa lekcja: Liderzy muszą dać zespołom przestrzeń na eksperymenty z AI, a nie tylko nakazać jego używanie.
Technologia szybko się zmienia
Tempo rozwoju AI jest oszałamiające. Olson dzieli się przykładem swojego CTO: sześć miesięcy temu był dziko sfrustrowany używaniem Cursor do swojej pracy, jednak teraz jest znacznie mniej sfrustrowany. To pokazuje, jak szybko narzędzia AI się poprawiają. Kluczowe jest nie poddawanie się i ciągłe eksperymentowanie z nowymi możliwościami.
Wyjaśnialność jako klucz do zaufania
Olson zauważa kluczowy problem z AI: czasami buduje niewłaściwy raport, a jeśli ukryję sposób, w jaki go zbudowało, i pokażę tylko błędne odpowiedzi, to ryzykuję wprowadzenie ludzi w błąd.
Rozwiązaniem jest przejrzystość procesu. Użytkownicy zobaczą nie tylko wynik, ale także metodę jego uzyskania. To pozwala im ocenić wiarygodność i stopniowo uczyć się samodzielnego korzystania z narzędzi.
Problem stronniczości w analityce
Olson zwraca uwagę na subtelny, lecz ważny problem tradycyjnej analityki. Liderzy biznesowi często podchodzą do danych z założeniami: mają pomysł w głowie i są przekonani, że strategia zadziała, więc idą do zespołu data science mówiąc, że potrzebują danych, żeby udowodnić skuteczność pomysłu.
To nie jest podejście typu „daj mi 100 pomysłów i pokaż, gdzie dane mnie prowadzą”. AI może tutaj pomóc, ponieważ nie ma z góry założonego punktu widzenia i może interpretować znacznie większą ilość danych niż człowiek.
Strategia pozyskiwania talentów przez akwizycje
Olson szczerze przyznaje wyzwania z rekrutacją ekspertów AI: naprawdę dobrzy, sprawdzeni specjaliści są pożerani przez big tech. Wall Street Journal pisał, jak Mark Zuckerberg osobiście kontaktuje się z ludźmi, oferując im pakiety po 100 milionów dolarów. Firma jest znacznie mniejsza niż Meta.
Rozwiązaniem była akwizycja Zelta AI w lipcu – CEO przejętej firmy AI został kierownikiem produktu dla analityki agentowej. Jak mówi Olson, to drogi sposób zatrudnienia product managera AI, jednak był to jeden z odważnych zakładów, żeby wprowadzić inne talenty do firmy.
✅ Wdrażanie AI w produktach analitycznych
- Zapewnij wyjaśnialność – pokaż, jak powstał wynik
- Daj użytkownikowi dostęp do procesu budowania raportu
- Umożliw weryfikację logiki AI przez eksperta
- Zachowaj możliwość manualnego tworzenia raportów
- Testuj AI na konkretnych przypadkach użycia przed wdrożeniem
- Monitoruj jakość generowanych spostrzeżeń
Zarządzanie produktem analitycznym
Brian O’Neill zadał Olsonowi pytanie o rekrutację product managerów. Odpowiedź CEO Pendo jest jednoznaczna: absolutnie faworyzuje ludzi z doświadczeniem analitycznym.
Powód jest prosty – zrozumienie różnicy między średnią a medianą. Olson zauważa, że szokująco dużo ludzi nie ma pojęcia o różnicy między tymi dwiema rzeczami.
✅ Wymagania dla product managerów produktów analitycznych
- Zna podstawowe różnice statystyczne (średnia vs mediana)
- Potrafi dyskutować z inżynierami na równi o możliwościach technicznych
- Rozumie potrzeby data scientists i potrafi ich słuchać
- Wie, co jest technicznie możliwe („sztuka możliwego”)
- Może wyzwać inżynierów i zaproponować alternatywne rozwiązania
Filozofia „bez ślepych uliczek”
Olson opisuje kluczową zasadę produktową Pendo: Na końcu dnia nie może być ślepych uliczek. Ślepa uliczka to sytuacja, gdy mam coraz więcej pytań, ale nie mogę znaleźć odpowiedzi.
Szczególnie frustrujące są sytuacje, gdy doświadczony użytkownik wie, że mają dane, ale nie potrafią ich wyświetlić w odpowiedni sposób. To oznacza, że każdy wykres powinien mieć możliwość drill-down, a zaawansowani użytkownicy powinni mieć dostęp do narzędzi jak Data Explorer.
Wyzwanie pomiaru wartości
Jeden z najtrudniejszych problemów produktów analitycznych to udowodnienie wartości biznesowej. Olson przyznaje, że bardzo rzadko dzwoni klient mówiąc, że ten jeden wykres w Pendo oszczędził mu 10 milionów dolarów.
Problem leży w naturze analityki. Główne wyzwania to:
- Brak bezpośredniej korelacji – trudno połączyć konkretne spojrzenie na dane z konkretnymi wynikami
- Subiektywność wartości – ludzie podejmują mądrzejsze decyzje, lecz ciężko to przypisać do konkretnego dashboardu
- Paradoks oczywistości – wszyscy zgadzają się, że ślepie podejmowanie decyzji to zły pomysł, jednak wartość „bycia mądrzejszym” trudno wycenić
Pendo próbuje rozwiązać ten problem przez „raport wpływu wartości” – dokument pokazujący, jak klient wykorzystał produkt i jaki był prawdopodobny wpływ na biznes.
Problem błędu aktualności vs dane
Olson zauważa, że wciąż spotyka firmy, które mówią: nie wiem, czy naprawdę potrzebuję danych, ponieważ moja intuicja jest całkiem dobra i dużo rozmawiam z klientami.
Jego reakcja brzmi: naprawdę ufasz jakiejkolwiek rozmowie, którą prowadziłeś w zeszłym tygodniu? Znowu błąd aktualności. Czy nie patrzysz na dane? Czy nie zarządzasz nimi? Jak wiesz, że decyzja, którą podjąłeś w zeszłym tygodniu, była dobra?
Wewnętrzne wykorzystanie AI w analityce
Zespół Pendo eksperymentuje z AI na własnych danych. Jak opisuje Olson, szef analityki, który jest niewątpliwie ekspertem, wszedł i wytrenował agenta, żeby był nim – to tak myślę o analityce, to jest to, na co patrzę.
Agent otrzymuje surowe dane i podstawowe prompty. Wyniki są całkiem zdumiewające – co więcej, AI jest wolne od stronniczości, w przeciwieństwie do ludzi, którzy często szukają danych potwierdzających ich wcześniejsze założenia.
Przyszłość: jakość ponad ilość
Olson widzi interesujące wyzwanie nadchodzących lat. AI obniża koszty tworzenia nowych rozwiązań, więc pojawi się więcej produktów, które brzmią, wyglądają i działają podobnie.
Egzystencjalne obawy o przyszłość pracy
Na pytanie o poziom niepokoju związanego z AI (w skali 1-10), Olson odpowiada, że powiedziałby trzy lub cztery. Nie chodzi o techniczne problemy, lecz o coś głębszego: myślę, że ta technologia jest tak potężna, że martwisz się o przyszłość pracy i to, jak ludzie będą ją wykonywać, oraz nasze miejsce w tej przyszłości.
Jego wizja brzmi optymistycznie: przyszłość pracy będzie polegać na tym, że będziemy mieli zestaw towarzyszy, które pomogą nam odciążyć trudniejsze zadania. Może zadania, w których nie jesteśmy tak dobrzy, będą nas karmić informacjami, dzięki temu będziemy mogli skupić się na bardziej kreatywnych elementach, krytycznym myśleniu.
Ludzie wciąż podejmują decyzje
Olson cytuje Jeff Bezosa: jedna z rzeczy, które Jeff Bezos często mówi, to że liderzy, a myślę, że dużo ludzi to liderzy w organizacjach, ich zadaniem jest podejmowanie garstki naprawdę ważnych decyzji o dużym wpływie – to jest ich praca.
AI nie zastąpi tego procesu: nie myślę, że agenci będą podejmować decyzje w najbliższym czasie, jednak wszyscy ci agenci pomogą podejmować lepsze, mądrzejsze, bardziej świadome decyzje, jeśli używasz ich poprawnie.
Kluczowa obserwacja: Ludzie używający AI będą po prostu podejmować lepsze decyzje, ponieważ będą mieli więcej informacji i badań.
Nowa filozofia metryk: częstotliwość vs czas
Olson porusza kluczowy dylemat produktów AI. Jeśli AI sprawia, że użytkownicy spędzają mniej czasu w produkcie, ale osiągają lepsze wyniki, czy to sukces czy porażka?
Jego odpowiedź brzmi: jeśli twoim celem jest wpływ na biznes i możesz spędzać jak najmniej czasu w Pendo, wciąż osiągając ten wpływ, to jest nirwana – to dosłownie to, czego chcesz w produkcie.
Lepszą metryką od czasu jest częstotliwość użycia – jak często ludzie wracają: lubię częstotliwość jako metrykę, ponieważ mierzy, czy dużo myślisz o tym produkcie. A jeśli dużo o nim myślisz i nie możesz bez niego żyć, będziesz do niego wracać często, nawet jeśli tylko na kilka minut dziennie.
Koniec modelu seat-based pricing?
Olson zauważa trend: ciekawe, że teraz w tym świecie agentowym lub AI, ludzie mówią, że SaaS based pricing, które jest typowo seat based pricing, jest martwe.
Zamiast tego coraz więcej mówi się o rozliczaniu opartym na wynikach. Dla Olsona najważniejszy jest czas do wartości lub czas do wyniku w produkcie. Jeśli klient może spędzić jak najmniej czasu w Pendo i wciąż osiągnąć biznesowy wpływ, to jest nirwana.
Prawo Campbella i dysfunkcja metryk
Olson przypomina o Prawie Campbella: uważaj, co mierzysz. Podaje przykład z Indii, gdzie płacono za złapane kobry – ludzie zaczęli hodować kobry, żeby móc ich więcej złapać.
Podobnie z czasem w produkcie: jeśli powiem, że czas to najważniejsza miara, to znajdźmy sposób, żeby korzystanie z naszego produktu było boleśnie straszne, żeby ludzie spędzali w nim cały swój czas – to zły wynik.
Podczas testowania narzędzi AI dla własnych potrzeb, zespół Pendo odkrył, że produkty brzmiące identycznie dawały zdumiewająco różne wyniki po przetestowaniu na trzech konkretnych przypadkach. To pokazuje, jak ważne będzie testowanie dokładności, weryfikacja spójności i sprawdzanie, czy spostrzeżenia są faktycznie wykonalne.
Jak mierzyć sukces AI?
Olson ma jasną wizję: myślę, że to ostatecznie zaangażowanie klientów i adopcja. Wszystko jest tak nowe – za kilka lat, nawet za rok, jeśli klienci używają tego dzień w dzień i zmieniło to sposób, w jaki wykorzystują Pendo, to jest wygrana.
Druga metryka to redukcja potrzeby wsparcia ludzkiego: co się teraz dzieje? Klienci mają problemy z tym. Wysyłamy eksperta i pomagamy w szkoleniu, zarządzaniu zmianą, wprowadzaniu ludzi na pokład, robimy całą tę pracę stale.
Jeśli AI zacznie odciążać część tej pracy i będzie łatwiej osiągnąć zarządzanie zmianą bez polegania na ludziach, to dla mnie jest całkiem potężne – to jest obietnica tego.
Praktyczne wnioski
✅ Dla twórców produktów analitycznych
- Zaplanuj dla reguły 85/15 – większość użytkowników to nie eksperci
- Zainwestuj w szablony i opisy zamiast tylko surowe funkcje
- Zastosuj filozofię „bez ślepych uliczek” – zawsze pozwól znaleźć odpowiedź
- Zatrudniaj product managerów z doświadczeniem w danych
- Stwórz ścieżkę dla power users i osobną dla beginners
- Używaj częstotliwości zamiast czasu jako głównej metryki
- Walcz z błędem aktualności – promuj podejmowanie decyzji oparte na danych
- Przetestuj intuicyjność interfejsu z ludźmi spoza branży tech
✅ Dla wdrażania AI w analityce
- Skup się na wyjaśnialności – pokaż, jak powstał wynik
- Użyj AI jako mostu między prostotą a mocą
- Wykorzystaj AI do redukcji stronniczości w analityce
- Daj zespołom przestrzeń na eksperymenty przed wdrożeniem
- Mierz sukces przez zaangażowanie klientów i redukcję potrzeby wsparcia
- Rozważ akwizycje jako sposób na pozyskanie talentów AI
- Przygotuj się na rozliczanie oparte na wynikach zamiast liczby miejsc
- Zachowaj możliwość manualnego tworzenia raportów
- Monitoruj feedback użytkowników na generowane spostrzeżenia
Kluczowy insight
AI bardziej obiektywne niż człowiek
Standardowo myślimy: Ludzie są lepsi w interpretacji danych niż AI, ponieważ mają kontekst biznesowy, doświadczenie i intuicję.
W praktyce okazuje się, że: AI może być bardziej obiektywne w analizie danych, ponieważ nie ma wcześniejszych założeń i nie szuka danych potwierdzających hipotezy.
Dlaczego to jest istotne: Jak zauważa Olson, liderzy biznesowi często mają „pomysł w głowie” i idą do zespołu data science mówiąc: „potrzebuję danych, żeby udowodnić, że ten pomysł zadziała” – zamiast pozwolić danym prowadzić do wniosków.
Test na jutro: Następnym razem gdy analizujesz dane biznesowe, zamiast szukać potwierdzenia swojej hipotezy, spróbuj zadać AI otwarte pytanie „co te dane mówią o…” i sprawdź, czy otrzymasz inne spostrzeżenia niż te, których oczekiwałeś.
Metadane artykułu
Główne słowo kluczowe: produkty analityczne saas
Słowa kluczowe: todd olson pendo, dashboard fatigue, ai w analityce, zarządzanie produktem, data explorer, brian o’neill, produkty analityczne, saas analytics, user experience, product management
Zajawka: Todd Olson z Pendo o budowaniu produktów analitycznych SaaS, które nie przeciążają użytkowników i skutecznie wykorzystują AI.
Description: Praktyczne wnioski z 10 lat rozwoju Pendo – od problemów z dashboard fatigue po wykorzystanie AI w produktach analitycznych.
Źródło: https://www.youtube.com/watch?v=VGBDFlwEjlw
Ten wpis stanowi część kolekcji notatek z ciekawych podcastów, webinarów i innych treści wartościowych dla profesjonalistów. Oryginalne źródło: podcast „Experiencing Data with Brian O’Neill” – 173 – Pendo’s CEO on Monetizing an Analytics SAAS Product, Avoiding Dashboard Fatigue, and How AI is
Dodaj komentarz
Musisz się zalogować, aby móc dodać komentarz.