Projektowanie i wdrażanie rozwiązań wiąże się z ryzykiem, że to co zaprojektowaliśmy nie tylko nie rozwiązuje problemów użytkowników ale też psuję aplikacje i biznes.
Samo wrzucenie zmian zaprojektowanych do aplikacji i obserwacja dzień po dniu jak zachowują się użytkownicy nie daję nam pewności, że wynik, który otrzymujemy nie jest efektem przypadku, zmian trendów czy np. innej proporcji uzyskanego ruchu ze stron odsyłających.
Aby mieć pewność w jaki sposób nasza zmiana wpłynęła na zachowanie użytkowników i biznes przeprowadza się testy A/B. Połowie użytkowników pokazuję się wersje oryginalną, a drugiej połowie pokazuję się wersję alternatywną rozwiązania. Dzięki temu dowiemy się jaki faktycznie był wpływ zaprojektowanej przez nas zmiany.
Jak wygląda test A/B?
Zaczynamy od definiowania problemu.
Załóżmy, że jesteś właścicielem sklepu internetowego. Z analizy zachowań użytkowników na stronie widzisz, że bardzo dużo osób odwiedza stronę produktu ale nie kupuję go.
Podejrzewasz, że problem tkwi w umiejscowieniu przycisku umożliwiającego zakup; przycisk znajduje się na dole strony w miejscu, które według Ciebie nie jest widoczne dla potencjalnych klientów.
Zakładasz, że jeśli przeniesiesz przycisk wyżej, to więcej osób go zobaczy i zdecyduje się kupić produkt. Twoją hipotezą w teście będzie więc, że zmiana położenia przycisku na stronie produktu wpłynie na zwiększenie liczby sprzedanych produktów.
Projektujemy rozwiązanie
Twój projektant przygotowuje alternatywną wersję strony produktowej z uwzględnieniem zaproponowanej hipotezy.
Uruchamiamy test A/B
Teraz pozostaje jedynie sprawdzić czy stworzona, alternatywna wersja jest lepsza. Ocenimy to na podstawie danych tego, która wersja strony przyniesie więcej sprzedanych produktów ponieważ twoim celem jest zwiększenie liczby sprzedanych produktów.
Mając cel dzielimy ruch losowo po połowie. Połowa użytkowników zobaczy oryginalną wersję sklepu, natomiast druga połowa będzie widzieć wersję alternatywną.
Sprawdzamy czy wersja alternatywna jest lepsza?
Czekamy 7 dni, żeby uzyskać pełną próbę użytkowników. Jest ogromnie ważne, żeby mieć cały cykl zakupowy Twoich użytkowników (minimum dane z całego tygodnia) ponieważ inne osoby kupują w sobotę, a inne w poniedziałek rano. Po 7 dniach patrzymy na wyniki testu….
Wersja alternatywna sprzedała więcej produktów! Juhu! … chciałoby się rzecz. Lecz zanim przedwcześnie ogłosimy zwycięzce musimy sprawdzić czy wynik uzyskany nie jest efektem przypadku.
W statystyce jeśli prawdopodobieństwo błędu jest poniżej 5% to uznaję się, że wersja alternatywna różni się od wersji oryginalnej. Dodatkowo jeśli różnica jest na plus to w takiej sytuacji mówimy, że wersja alternatywna jest lepsza i uzyskała wynik istotny statystycznie. Im mniejsze prawdopodobieństwo, ze wynik jest efektem przypadku tym większa szansa, że wynik jest prawdziwy.
Sprawdźmy uzyskany przez Ciebie wynik:
Wzrost konwersji z 6,67% do 9,17% daje nam poprawienie konwersji o 37%. Wynik jest istotny statystycznie, bo mamy 95% szans, że wynik nie jest efektem przypadku. Yupi! Tak w skrócie wygląda przygotowanie testów A/B, przeprowadzenie go i wyciągnięcie wniosków.
Co mi grozi jeśli nie będę testował wprowadzonych zmian testami A/B ?
Nie będziesz wiedział czy wprowadzona zmiana poprawiła produkt czy może go popsuła i obniżyła konwersję. Według danych udostępnionych przez Ronny Kohavi, pracownika Microsoft około ⅔ wprowadzonych zmian obniża konwersję lub nie ma wpływu na konwersję. Co oznacza, że 2 z 3 wprowadzonych przez Ciebie zmian potencjalnie szkodzą.
Nie chcę robić testów A/B, zawsze mogę sprawdzic dane historyczne.
Dane historyczne świetnie nadają się do porównań. Jednak wystarczy, że puścisz inne kampanie, ktoś wrzuci Twój produkt na wykop.pl i nie będziesz wiedział skąd tak gwałtowny spadek konwersji. Staniesz przed problemem czy ściągać osoby w niedziele rano i cofać zmiany czy zaryzykować, że to jednak nie ostatnia zmiana obniżyła konwersje.
Ta zmiana na pewno podniesienie konwersję, po co tracić czas na testy?
Spotkałem się z kilkoma takimi świetnymi rozwiązaniami; z punktu widzenia użyteczności pewniaki, ostatecznie kończyły się obniżeniem konwersji. Inna grupa docelowa, inny kontekst korzystania z aplikacji i każde best practice może okazać się pułapką.
Konkurencja ma tą funkcjonalnośc i unich to śmiga po co testować?
Możliwe, że oni właśnie w pocie czoła starają się usunąć rozwiązanie, które według Ciebie przyniesie Ci zyski. Wdrożysz swoje rozwiązanie i co gorsza zapomnisz, żeby sprawdzić wyniki albo jakaś kampania podbije Ci liczbę sprzedaży, a potem będziesz się głowić czemu konwersja jest tak niska…
Jak podpiąc testy A/B?
Masz 3 sposoby na podpięcia testów A/B :
- Skorzystać z firm oferujących rozwiazanie do testów A/B takie jak:
- Wdrożyć open sourcowe rozwiązanie:
- Stworzyć własny mechanizm do testowania.
Które z rozwiązań wybrać?
To zależy od dostępnych środków i możliwości. Jeśli wybierzesz zewnętrzne rozwiązanie to musisz za nie dodatkowo płacić. Wykorzystują one często mechanizmy, które są blokowane przez adblockery co może utrudnić interpretację wyników.
Podpięcie open sourcowego skryptu dużo ułatwia analizę i daje bardziej rzetelne dane, ale kosztuję czas wdrożenia, utrzymywania oraz osobę, która będzie wiedziała jak takie narzędzie zaimplementować.
Stworzenie własnego rozwiązania daje bardzo duże możliwości modyfikacji i dostosowania do aplikacji, ale jeśli nie musicie tego robić to lepiej skorzystać z gotowych rozwiązań.
Powyższe materiały pochodzą z prezentacji Testy A/B – budowanie wartości produktu, którą wygłosiłem w 2014 na konferencji Netvision.