Poniższe notatki powstały na podstawie webinaru „Finding Your Product’s North Star Metric” prowadzonego przez Hannah Woodburn (FullStory), Abby Kuzmanoff (Amplitude) oraz Tommy’ego Noonana (FullStory). Wszystkie przedstawione przemyślenia, obserwacje i wnioski pochodzą od uczestników tej rozmowy.
TL;DR
- North Star Metric jednoczy organizację wokół wspólnego celu i ułatwia podejmowanie decyzji produktowych
- Metryka musi być powiązana z wartością dla klienta, a nie stanowić jedynie wskaźnika aktywności
- Trzy typy produktów wymagają różnych podejść: attention (Netflix), transaction (Amazon), productivity (Amplitude/FullStory)
- Proces implementacji zajmuje około 5-6 tygodni i wymaga zaangażowania całej organizacji
- Metryka musi ewoluować wraz z wizją produktu – Amplitude zmieniło z „weekly querying users” na „weekly learning users”
- Prognozowanie nowych metryk stanowi wyzwanie ze względu na brak danych historycznych
- Input metrics służą jako wskaźniki wyprzedzające dla North Star, która może reagować wolniej
Definicja i znaczenie North Star Metric
North Star Metric stanowi znacznie więcej niż kolejną liczbę na panelu kontrolnym. Tommy Noonan z FullStory definiuje ją jako „coś, za czym każdy zespół może się opowiedzieć i co tworzy alignment”. Głównym celem jest skupienie uwagi oraz poprawa podejmowania decyzji.
Abby Kuzmanoff z Amplitude dodaje kluczowy element: metryka musi definiować relację między rozwiązywaniem problemów klientów a znajdowaniem wartości oraz przychodami. Stanowi ona wskaźnik wyprzedzający sukces biznesowy, a nie zwykły KPI.
Gdy każdy w organizacji rozumie, jak jego praca wpływa na jedną, wspólną metrykę, decyzje stają się prostsze. Zamiast analizowania dziesiątek różnych wskaźników, zespoły zadają sobie jedno pytanie: czy działanie wpływa na North Star?
Cechy efektywnej North Star Metric
Nie każda metryka nadaje się na North Star. Abby Kuzmanoff podkreśla, że daily active users może nie być najlepszą metryką, ponieważ nie łączy się z wartością dla klienta. Użytkownicy mogą wracać codziennie, jednak nie otrzymywać prawdziwej wartości z produktu.
Tommy Noonan z FullStory przedstawia praktyczny test: zespoły powinny móc określić, ilu użytkowników korzysta z aplikacji i otrzymuje wartość zgodną z oczekiwaniami. Może to być weekly active users wykonujących konkretne zadanie w aplikacji.
Leading indicator vs lagging metric
Kluczowa różnica polega na tym, że North Star stanowi leading indicator dla przychodów, nie lagging metric. Jak tłumaczy Abby: jeśli przychody są North Star, organizacja ryzykuje dowiadywanie się o problemach po utracie szansy na naprawę.
Przykład z abonamentami rocznymi ilustruje ten problem – gdy klient zrezygnuje, jest już za późno. Dlatego North Star powinna wychwytywać sygnały ostrzegawcze wcześniej, na przykład spadek aktywności czy engagement przewidujący churn.
Kluczowe cechy dobrej North Star Metric:
- Powiązanie z wartością klienta, nie tylko wskaźnikami aktywności
- Reprezentowanie wizji produktu
- Umożliwianie rozliczania z rezultatów, nie tylko z ilości wypuszczonych funkcji
- Jednoczenie różnych zespołów wokół wspólnego zrozumienia
- Pełnienie funkcji leading indicator dla biznesu
Framework wyboru metryki według typu produktu
Abby Kuzmanoff przedstawia framework trzech typów produktów, który pomaga w wyborze odpowiedniej North Star:
Attention (uwaga) – produkty jak Netflix
- Focus: czas spędzony z produktem jest kluczowy
- Przykład metryki: time spent watching content
- Logika: im więcej czasu użytkownicy spędzają oglądając filmy, tym większą otrzymują wartość
Transaction (transakcje) – produkty jak Amazon, Walmart
- Focus: liczba udanych transakcji
- Przykład metryki: successful order completion rate
- Logika: metryka powinna mierzyć skuteczne dostarczanie towarów i usług
Productivity (produktywność) – produkty jak Amplitude, FullStory
- Focus: ilość zadań cyfrowych wykonanych przez użytkowników
- Przykład metryki: tasks completed per user
- Logika: według Abby – identyfikacja zadania, które użytkownicy wykonują w produkcie i które przynosi im wartość
Framework ten pomaga zawęzić opcje oraz analizować przykłady innych firm w podobnej kategorii.
Ekosystem metryk wokół North Star
North Star nie istnieje w izolacji. Tommy Noonan z FullStory wyjaśnia: „Nie musisz śledzić tylko jednej metryki. Lubimy rozbijać North Star na 5-6 komponentów”. Jeśli metryka obejmuje weekly active users wykonujących konkretne zadanie, stanowią one dwa oczywiste komponenty do śledzenia.
Input metrics jako wskaźniki wyprzedzające
Input metrics to działania, które teoretycznie powinny wpływać na North Star. Abby z Amplitude wyjaśnia: eksperyment może nie pokazać zauważalnej zmiany w North Star, jednak zespoły powinny upewnić się, że wybrane input metrics rzeczywiście do niej prowadzą.
Przykład ze Spotify ilustruje tę zależność: jeśli North Star to czas słuchania muzyki, input metric może stanowić liczba powrotów na stronę przez notyfikacje o nowych utworach ulubionych artystów.
Trade-off metrics – monitoring strat
Abby podkreśla często pomijany element: „Ważne jest, żeby mieć pojęcie o trade-off metrics dla North Star”.
Praktyczny przykład z LinkedIn: jeśli North Star to przychody z reklam lub kliki w reklamy, zespoły muszą śledzić wpływ na engagement z innymi funkcjami. Zwiększanie przychodów z reklam może prowadzić do zmniejszenia korzystania z funkcji networkingu.
Balansowanie perspektyw czasowych
Tommy Noonan ostrzega przed pułapką: „Możesz robić tanie hacki, żeby podkręcić liczby w jednej części North Star bardzo szybko, jednak to nie jest zdrowy sposób na wzrost user engagement”.
W rezultacie nie wszystkie sposoby poprawy metryki są równie wartościowe. Niektóre mogą dać szybki wzrost, ale zaszkodzić długoterminowo.
Studia przypadków – ewolucja metryk
Amplitude: od pytań do współpracy
Amplitude przeszło znaczącą ewolucję metryki. Abby Kuzmanoff opisuje zmianę z „weekly querying users” na „weekly learning users”.
Nowa metryka mierzy użytkowników, którzy nie tylko stworzyli analizę, ale podzielili się nią z co najmniej dwiema innymi osobami. Jak tłumaczy Abby: „To symbol przechodzenia przez pętlę build-measure-learn i reprezentuje naszą wizję analytics jako zespołowej gry”.
Stara metryka reprezentowała fazę wzrostu – więcej pytań oznaczało lepsze wyniki. Z kolei nowa reprezentuje dojrzałość – obecnie liczy się rozpowszechnianie wiedzy w zespołach.
FullStory: od oglądania do eksploracji
Tommy Noonan opisuje „Weekly Active Explorers” – pierwszą North Star Metric w FullStory. Obejmuje ona użytkowników, którzy wykonują co najmniej jedno wyszukiwanie lub zapisują segment.
Tommy wyjaśnia: „Myślę o tym jako o zadawaniu pytania FullStory i próbie otrzymania odpowiedzi”. Zmiana z oglądania sesji na tworzenie wyszukiwań reprezentowała przejście od biernej konsumpcji do aktywnej eksploracji.
Praktyczne aspekty eksperymentowania
North Star pomaga definiować eksperymenty, jednak sama rzadko stanowi ich success metric. Abby wyjaśnia: wybór North Star jako outcome eksperymentu sprawia, że bardzo trudno stworzyć hipotezy rzeczywiście ją ruszające.
Dodatkowo osiągnięcie istotności statystycznej na North Star w eksperymentach jest bardzo trudne – metryka okazuje się zbyt złożona i reaguje zbyt wolno.
Segmentacja zamiast podejścia masowego
Tommy Noonan dzieli się praktyczną radą: „Bardzo bliska segmentacja klientów przy konfiguracji eksperymentów może być pomocna. Zamiast próbować ruszyć całą populację użytkowników”.
Przykład: zamiast targetowania wszystkich, koncentracja na użytkownikach, którzy nie logowali się od miesiąca-dwóch i pasują do konkretnej persony. Można znaleźć znacznie większe rezultaty dla małej, docelowej grupy, mimo trudności z osiągnięciem istotności statystycznej.
Proces budowania poparcia organizacyjnego
Ramy czasowe implementacji
Tommy Noonan szczerze opisuje proces: „Zajęło mi 5-6 tygodni od przeczytania pierwszego artykułu o North Star do zebrania ludzi i prezentacji”. Proces ten nie jest szybki, ponieważ wymaga zarządzania zmianą oraz stopniowego zdobywania momentum.
Kluczowe etapy budowania poparcia
1. Przygotowanie merytoryczne
- Zbieranie danych historycznych i analiza zachowania metryki w przeszłości
- Powiązanie z istniejącymi metrykami akceptowanymi przez zespół
- Przygotowanie konkretnych przykładów wpływu nowych funkcji na North Star
2. Zaangażowanie kluczowych osób
- Rozpoczęcie od indywidualnych rozmów z przedstawicielami produktu i customer success
- Włączenie różnych zespołów: inżynierów, designerów, support, revenue ops, data science
- Słuchanie obiekcji oraz dostosowywanie podejścia na podstawie informacji zwrotnej
3. Wsparcie organizacyjne
- Tworzenie paneli widocznych w całym biurze, podobnie jak w Amplitude
- Regularne wspominanie metryki na spotkaniach all hands
- Integracja z procesami innych zespołów – customer success, professional services
Demonstracja rezultatów jako klucz do sukcesu
Tommy dzieli się cenną obserwacją: „Kiedy wdrażaliśmy North Star, zbiegło się to z uruchomieniem custom events. Mogliśmy pokazać, jak wpłynęło to na każdą input metrykę i North Star”.
Abby dodaje: największe poparcie zyskuje się poprzez demonstrację zdolności do ruszania metryki. Gdy organizacja widzi zmieniające się liczby, zaczyna się ekscytować.
Dlaczego to działa? Konkretne dowody działania przewyższają teoretyczne argumenty, a sukcesy w metrykach przekładają się na większe wsparcie oraz zasoby dla zespołu.
Wyzwania i trudności implementacyjne
Problem prognozowania nowych metryk
Tommy Noonan szczerze przyznaje: „Wybranie metryki i zdobycie poparcia było trudne, jednak prognozowanie celów było bardzo ciężkie przy całkowicie nowej metryce”.
Abby dodaje: z każdą nową metryką zespoły nie są przyzwyczajone do trendów, sezonowości i innych wzorców. To wszystko stanowi czarną skrzynkę, szczególnie na początku.
Praktyczne rozwiązania obejmują analizę danych historycznych, rozpoczęcie od konserwatywnych prognoz oraz przygotowanie się na iteracje, ponieważ pierwsze prognozy prawdopodobnie będą błędne.
Sygnały potrzeby zmiany metryki
Abby Kuzmanoff podkreśla: „North Star Metrics nie są statyczne. Przewartościowywanie ich kwartalnie lub rocznie jest ważne dla upewnienia się o dopasowaniu do wizji”.
Tommy dodaje: nie ma jasnej granicy czasowej zmiany North Star, jednak gdy ewoluuje produkt i segmenty klientów, naturalnie pojawiają się potrzeby zmian metryki.
Sygnały ostrzegawcze obejmują sytuacje, gdy zespoły nie potrafią określić wpływu swojej pracy na metrykę, metryka nie reaguje na zmiany produktu przez długi okres, albo strategia firmy ewoluowała przy niezmiennej metryce.
Trudności z input metrics i atrybucją
Abby ostrzega: „Nie zawsze będziesz miał rację co do input metrics. Musisz być gotowy na wyrzucenie potencjalnych input metrics i elastyczność”.
Input metrics to wskaźniki teoretycznie wpływające na North Star, jednak czasami założenia okazują się błędne. Kluczem jest testowanie hipotez oraz gotowość do zmiany podejścia.
Wyzwania z wieloma zespołami
Szczególnie trudne staje się to przy wielu zespołach pracujących nad tym samym North Star. Abby tłumaczy: „Im więcej zespołów skupia się na ruszaniu North Star, tym trudniej przypisać zmiany konkretnemu zespołowi”.
A/B testing powinien pomagać, ale nie zawsze można wszystko testować – niektóre zmiany są za duże lub nie nadają się do takiego testowania.
Organizacja zespołów wokół North Star
W Amplitude używają modelu zespołów. Abby wyjaśnia: różne zespoły mają własne metryki stanowiące input metrics do North Star.
Przykłady:
- Zespół aktywacyjny – pracuje nad metryką „5 weekly learning users” w organizacji (symbol dobrego setupu)
- Zespół współpracy – koncentruje się na „broadcasted learning” (content shared with 2+ squads)
Każdy zespół ma swoją „sub North Star” będącą input metric dla głównej North Star firmy. Rozwiązuje to problem atrybucji oraz daje zespołom jasny focus.
Praktyczne wskazówki implementacyjne
Proces krok po kroku
ETAP 1: Zrozumienie fundamentów
- Określenie typu produktu (attention/transaction/productivity)
- Analiza przykładów firm podobnych do własnej
- Przeczytanie case studies innych zespołów
- Wykonanie ćwiczenia wyboru North Star dla znanych produktów
ETAP 2: Wybór metryki
- Identyfikacja kluczowego działania użytkowników przynoszącego wartość
- Upewnienie się o powiązaniu metryki z customer value
- Sprawdzenie reprezentacji wizji produktu przez metrykę
- Przetestowanie na danych historycznych
ETAP 3: Budowanie poparcia (5-6 tygodni)
- Przygotowanie analizy opartej na danych z powiązaniem z istniejącymi metrykami
- Przeprowadzenie indywidualnych rozmów z kluczowymi stakeholderami
- Zaangażowanie różnych zespołów: product, engineering, design, customer success, data science
- Przygotowanie prezentacji z konkretnym przykładem wpływu na metrykę
ETAP 4: Konfiguracja infrastruktury
- Ustawienie systemów reportingu i paneli (może zająć kilka miesięcy)
- Upewnienie się, że wszyscy w firmie potrafią zdefiniować North Star
- Integracja metryki z procesami różnych zespołów
- Ustawienie konserwatywnych prognoz na pierwsze miesiące
ETAP 5: Operacjonalizacja i iteracja
- Identyfikacja 3-5 input metrics wspierających North Star
- Stworzenie procesu regularnego przeglądu metryki
- Przygotowanie się na dostosowania
- Śledzenie trade-off metrics
Rady ekspertów
Abby Kuzmanoff radzi zastanowienie się nad typem gry, w jaką gra produkt. Stanowi to pierwszy krok do znalezienia odpowiedniej metryki. Sugeruje również ćwiczenie myślenia o North Star dla produktów, których się nie tworzy, ponieważ własny produkt wiąże się z nadmiarem szczegółów.
Tommy dodaje praktyczną radę czytania artykułów o North Star innych firm jako sposób zrozumienia różnych podejść.
Wykorzystanie istniejących modeli
Kluczowa rada Tommy’ego: dużo pracy przy wyborze konkretnych działań i częstotliwości było oparte na modelach zespołu data science. Szukał odpowiedzi na pytanie o najlepszy stosunek nakładów do efektów w działaniach dotyczących oceny kondycji użytkownika.
Jeśli zespół data science już ma modele user health lub customer health scores, stanowią one świetny punkt wyjścia.
Powiązanie z mocnymi stronami
Tommy wspomina myślenie o częściach produktu dobrze pozycjonowanych konkurencyjnie oraz prawdziwych mocnych stronach. Łatwiej dopasować metrykę do tego, co już uznaje się za silną stronę produktu.
Powiązanie z systemami OKR
Podejście FullStory
Tommy Noonan przyznaje: „Nie włączyliśmy jeszcze North Star do OKR-ów. Chcę poczekać, aż poczuję się komfortowo z prognozowaniem na 5-tygodniowy okres” (FullStory używa 5-tygodniowych cykli OKR).
Podejście „poczekaj i zbierz dane” może być rozsądne dla nowych metryk. Lepiej najpierw zrozumieć zachowanie metryki niż commitować się do celów bez podstaw.
Podejście Amplitude
Amplitude poszło w zupełnie innym kierunku. Abby tłumaczy odejście od OKR-ów w ostatnim kwartale w celu usunięcia sztucznych terminów z pewnych prac i celów.
Zamiast tego dają zespołom autonomię: zespół może określić metrykę do ruszenia oraz częstotliwość sprawdzania postępów z leadership.
Przykłady:
- Zespoły Abby: przegląd co dwa tygodnie
- Zespoły z długoterminowymi projektami: monthly lub quarterly
- Duże inicjatywy (np. nowy model uprawnień): quarterly goals
Dlaczego to działa? Zespoły najlepiej wiedzą, ile potrafią ruszyć metrykę i rozliczają się z ustalonych rytmów.
Rozważania dotyczące NPS
Tommy Noonan nie ma dużego doświadczenia z NPS, jednak mówi: jeśli zespół czuje się komfortowo z NPS jako predyktorem wartości dla bazy klientów, nie widzi powodu, żeby stanowiła złą North Star.
Abby z Amplitude zwraca uwagę na ważne rozróżnienie: dla B2B pytanie o polecanie oprogramowania znajomym może nie być najlepszą metryką, podczas gdy dla B2C może mieć więcej sensu.
Alternatywa: Product Market Fit Survey
Abby wspomina o rosnącym trendzie Product Market Fit survey, które zadaje inne pytanie: „Jak bardzo byłbyś zawiedziony, gdybyś nie mógł już używać tego produktu?”. Może to stanowić lepsze podejście dla produktów B2B, gdzie rekomendowanie znajomym nie ma sensu, jednak zależność od produktu stanowi realny wskaźnik wartości.
Abby dodaje praktyczny test: czy można zawsze jasno odpowiedzieć, czy inicjatywa ruszy NPS? To może być bardziej gut feeling niż jasna odpowiedź w porównaniu do wpływu na weekly active explorers.
Aspekty infrastrukturalne
Abby dodaje: zależnie od skali organizacji może to wpłynąć na czas, szczególnie z zarządzaniem zmianą. Potrzebny jest czas na stworzenie metryki, ale też na upewnienie się, że infrastruktura jest skonfigurowana do łatwego śledzenia.
Praktyczne aspekty obejmują:
- Reporting i panele – dostęp do danych dla wszystkich
- Definicje i dokumentacja – zdolność każdego w firmie do zdefiniowania North Star
- Integracja z systemami – możliwość używania metryki przez różne zespoły
- Szkolenie zespołów – zrozumienie wpływu działań na metrykę
Abby podsumowuje: cały proces może zająć kilka miesięcy. Samo stworzenie metryki to miesiąc-dwa, zależnie od skali organizacji oraz zaangażowania data science.
Kluczowe spostrzeżenie
North Star jako decider
Standardowo myślimy: North Star to cel do osiągnięcia na koniec kwartału – liczba na panelu, którą będziemy celebrować w monthly review.
W praktyce okazuje się, że: North Star to codzienne narzędzie do podejmowania decyzji. Jak mówi Abby: „Różni ludzie w zespole mogą powiedzieć: 'Czy to rzeczywiście wpływa na North Star, nad którą wszyscy pracujemy? A jeśli nie, to dlaczego ważne jest, żeby nad tym pracować?’”
Dlaczego to jest istotne: Większość zespołów traktuje North Star jak KPI do raportowania, podczas gdy powinna być filtrem dla każdej decyzji produktowej. W rezultacie zmienia się wszystko – od priorytetyzacji funkcji po alokację zasobów.
Test na jutro: Następnym razem przy podejmowaniu decyzji o nowej inicjatywie, zamiast pytania „czy to zwiększy engagement” warto zapytać „czy to wpływa na naszą North Star i jeśli nie, dlaczego to robimy?” oraz sprawdzić, czy zmienia to decyzję.
Ten wpis stanowi część kolekcji notatek z wartościowych podcastów, webinarów oraz innych treści. Oryginalne źródło: webinar „Finding Your Product’s North Star Metric” (FullStory + Amplitude
Dodaj komentarz
Musisz się zalogować, aby móc dodać komentarz.