Testy A/B w aplikacjach mobilnych – co musisz wiedzieć na początek?

Czy powinniśmy polecać podobne produkty na głównym widoku? Warto wysyłać powiadomienia o nowych funkcjach? Czy którykolwiek z naszych pomysłów poprawi wskaźnik konwersji?
Jeśli jesteś w zespole zajmującym się rozwojem aplikacji, pewnie od czasu do czasu zadajesz sobie podobne pytania. Podjęcie właściwej decyzji bywa trudne, a dyskusje potrafią się ciągnąć godzinami.
Na szczęście nie musisz zgadywać, który wybór będzie lepszy. Zamiast tego możesz przeprowadzić testy A/B w aplikacjach mobilnych. Czasem to najlepszy sposób, żeby stwierdzić, które zmiany warto wprowadzić. Sprawdź, kiedy testy A/B mogą Ci pomóc w rozwijaniu produktu.
Kluczowe wnioski
- Testy A/B porównują dwie wersje elementu aplikacji (lub więcej) w celu ustalenia, która z nich przynosi lepsze wyniki. Polega to na wyświetlaniu różnych wersji użytkownikom i mierzeniu wpływu na wybrany wskaźnik.
- Testy A/B w aplikacjach mobilnych pomagają podejmować lepsze decyzje, poprawiać UX, zwiększać współczynnik konwersji i lepiej poznawać użytkowników.
- Można testować np. układ interfejsu użytkownika, nawigację, tekst, formularze, funkcje.
- Aby przeprowadzić testy A/B, sformułuj hipotezę tłumaczącą, dlaczego według Ciebie zmiana poprawi wyniki aplikacji.
- Kluczowe jest zdefiniowanie jasnych wskaźników zgodnych z Twoimi celami (np. współczynnik konwersji, retencja).
- Użytkownicy muszą reprezentować ten sam segment. Wielkość próby powinna być wystarczająca, aby uzyskać statystycznie istotne wyniki.
- Testy muszą trwać wystarczająco długo, aby uchwycić reprezentatywne zachowanie użytkowników.
- Kluczowe elementy to wersja kontrolna (oryginalna) i jedna lub więcej wersji zmodyfikowanych. Testuj jeden element na raz.
- W niektórych przypadkach testy A/B nie są zalecane. Można wtedy rozważyć np. testy użyteczności lub audyt UX.
Czym są testy A/B?
Testy A/B porównują różne wersje tego samego widoku aplikacji albo strony www, żeby sprawdzić, która z nich daje lepsze rezultaty.
Podstawą każdego testu A/B jest hipoteza. Dzięki niej ustalisz, jakie zmiany należy wprowadzić i przetestować. Następnie wybierasz zmienne, które trzeba obserwować podczas testu.
Przykład
Problem: Zespół zauważył, że użytkownicy aplikacji mCommerce rzadko dołączają do niedawno powstałego klubu lojalnościowego.
Hipoteza: Uważasz, że użytkownicy nie chcą zapisywać się do klubu, ponieważ informacje o korzyściach, jakie on oferuje, nie są jasno zakomunikowane w aplikacji.
Rozwiązanie: Decydujesz się na pokazanie dodatkowego pop-upu na widoku głównym, ale nie masz pewności, czy to nowe rozwiązanie jest lepsze niż obecne. Opinie w zespole są podzielone, dlatego testujecie opcję A (wersja niezmieniona) i B (z pop-upem), żeby ustalić, która jest lepsza.
Wskaźnik sukcesu: W tym teście będziesz monitorować liczbą nowych członków klubu lojalnościowego.
Ryzyko: Użytkownikom aplikacji może się nie spodobać, że nowy element pokazuje im się na ekranie. Zamiast dołączyć do klubu, mogą odinstalowywać aplikację albo przestać ją otwierać. Właśnie dlatego sprawdzasz też liczbę odinstalowań i wskaźnik rezygnacji.
Jak testy AB mogą wspierać Twój biznes?
Testy AB pozwalają ulepszyć produkt i skierować plan rozwoju aplikacji na właściwe tory. Czemu warto je przeprowadzać w aplikacjach mobilnych?
- Większe szanse na sukces – wyniki testu pokażą, która wersja widoku bardziej zbliża Cię do celu.
- Łatwiejsze podejmowanie decyzji w oparciu o dane – zamiast niekończących się dyskusji opartych na przypuszczeniach, możesz podejmować decyzje na podstawie rzetelnych danych i uniknąć ryzyka.
- Korzystniejsza pozycja podczas spotkań biznesowych – kiedy rozmawiasz z interesariuszami albo swoim zespołem, masz solidne argumenty na poparcie swojego stanowisko i możesz dokładniej oszacować, jaki wpływ będą miały rekomendowane zmiany.
- Lepsze doświadczenia użytkowników – możesz podejmować świadome decyzje, które budują pozytywne doświadczenia (UX) i zwiększają zaangażowanie użytkowników.
- Wzrost konwersji – kiedy wiesz, co jest dla użytkowników bardziej intuicyjne albo ciekawsze, możesz wdrożyć rozwiązania, które bezpośrednio wpływają na wzrost wskaźnika konwersji.
- Większa wiedza o użytkownikach – dzięki testom masz okazję nauczyć się czegoś o wzorcach zachowań użytkowników. Taka wiedza staje się wartościowa dla działu marketingu i zespołów UX.
Co możesz testować w aplikacjach mobilnych?
Zespoły często przeprowadzają testy A/B, żeby sprawdzić zmiany w:
- projekcie UI (np. rozmiar przycisku, umiejscowienie różnych elementów, takich jak nagłówki, informacje o promocji, pop-up),
- nawigacji (np. inne kroki w procesie checkoutu lub onboardingu),
- treści (np. nagłówki, CTA, powiadomienia),
- formularzach (np. nowe pola albo inne rodzaje dostępnych odpowiedzi),
- funkcjach.
Grupa docelowa w testach A/B
Aby uzyskać wartościowe wyniki, podziel użytkowników na dwie grupy. Wszyscy użytkowników muszą reprezentować ten sam segment (czyli muszą mieć jakąś wspólną cechę np. założyli konto w podobnym czasie).
Każda z tych grup zobaczy inną wersję aplikacji – A lub B. Pod koniec testu będzie można ustalić, który wariant bardziej zachęca użytkowników do podejmowania oczekiwanych działań.
Przykład
W Twojej aplikacji mCommerce informacje o sezonowych promocjach są pokazywane w górnej części głównego widoku. Dział marketingu twierdzi, że trudno je zauważyć i zaleca zamieszczenie większego baneru. UX designer jest temu przeciwny, dlatego rozpoczynasz testy A/B. W tym przypadku grupą docelową są osoby, które nie zapisały się do klubu lojalnościowego.
Czasem grupy docelowe nie są tak wąsko sprecyzowane. Możesz testować coś na tyle uniwersalnego, że wszyscy użytkownicy na tym skorzystają np. umiejscowienie przycisku mikrofonu albo ikony koszyka.
Ilu użytkowników potrzebujesz, żeby przeprowadzić test?
Liczba użytkowników musi być wystarczająco duża, żeby otrzymać statystycznie istotne wyniki. Jeżeli będzie zbyt mała, wynik może się okazać przypadkowy. Aby tego uniknąć, musisz najpierw obliczyć wielkość próby.
Dobra wiadomość jest taka, że nie musisz być ekspertem od matematyki, żeby tego dokonać. Jest wiele narzędzi, które zrobią to za Ciebie. Musisz tylko wprowadzić do nich pewne dane, takie jak:
- Liczba wariantów – muszą być przynajmniej dwa (kontrolny i zawierający zmianę).
- Aktualny wskaźnik konwersji, który otrzymujesz na wersji kontrolnej. Obliczysz go, dzieląc liczbę konwersji przez liczbę użytkowników.
- Oczekiwany wskaźnik konwersji, który chcesz wykryć.
- Poziom istotności – zazwyczaj jest ustawiony na 95%, co oznacza, że istnieje 95% szans, że Twoje wyniki będą wartościowe i 5% szans, że będą miały losowy charakter.
Taki zestaw danych może wyglądać w ten sposób:
- Liczba wariantów: 2
- Aktualny wskaźnik konwersji: 10%
- Oczekiwany wskaźnik konwersji: 15%
- Poziom istotności: 95%
Narzędzia
Przykładowe kalkulatory online do obliczania wielkości próby w testach A/B:
Wskazówka: Warto przygotować wszystkie informacje o celach, grupie docelowej i zmiennych w jednym dokumencie, który będzie można szybko przekazać UX designerom. Zapytaj ich, co sądzą o Twoich propozycjach.
Czas trwania testu
Kiedy już znasz właściwy rozmiar próby, możesz sprawdzić, jak długo test powinien trwać. Ponownie możesz do tego użyć kalkulatora online.
Najpierw wybierz, ile wersji UI chcesz przetestować. Przykładowo w najprostszym teście A/B masz dwie wersje UI: A (niezmienioną, czyli kontrolną) i B (nową, ze zmianami).
Następnie wprowadź średnią liczbę unikalnych użytkowników, którzy dziennie otwierają aplikację.
Na podstawie takich danych kalkulator obliczy, ile dni potrzeba, żeby uzyskać rzetelne wyniki testu.
Wyniki uzyskane powyżej zostały obliczone w narzędziu AB Tasty.
Kiedy test A/B nie jest dobrym pomysłem?
Jeśli uważasz, że testy A/B mogą odpowiedzieć na wszystkie Twoje pytania, mamy złą wiadomość. Kiedy warto rozważyć inne rozwiązania?
Przypadek nr 1. Implementacja funkcji zabiera sporo czasu i wymaga dużego wysiłku.
W teorii brzmi to rozsądnie – chcesz wprowadzić dużą zmianę, więc lepiej najpierw ją przetestować. To prawda, ale testy A/B wymagają wcześniejszej implementacji funkcji. Programiści muszą się najpierw napracować, żeby test doszedł do skutku. Jeśli funkcja okaże się sukcesem, wtedy nie stanowi to problemu, ale jeśli wyniki nie będą optymistyczne, to oznacza, że właśnie zmarnowali mnóstwo czasu.
Testy A/B dają lepsze rezultaty, kiedy wprowadzasz zmiany, które ulepszają istniejące rozwiązania albo ich implementacja nie jest zbyt pracochłonna. W innym przypadku może to nie być najlepsza metoda.
Przypadek nr 2. Zmiany można przeanalizować pod kątem standardów w projektowaniu UI.
W projektowaniu UI obowiązują pewne standardy, które można stosować bez potrzeby przeprowadzania testów.
Przykład
Nie podobają Ci się kolory przycisków zaproponowane przez designera. Narzędzia do testów A/B dają Ci możliwość ich sprawdzenia, ale nie oznacza to, że warto to robić. Zamiast testów lepiej omów propozycje zmian z ich autorem. Razem przeanalizujcie, czy spełniają one warunki, które określa style guide i są zgodne z heurestykami użyteczności. Możesz też zlecić projektantowi UI spoza Twojej firmy przeprowadzenie audytu UX.
Przypadek nr 3. Nie masz wystarczająco dużo użytkowników i czasu.
Im mniej masz użytkowników, tym dłużej powinien trwać test. Jego długość zależy też od innych czynników, takich jak oczekiwany wskaźnik konwersji i poziom istotności. Czasem łatwo uznać, że test daje nam ostateczne rezultaty jeszcze długo przed datą jego zakończenia wyliczoną w kalkulatorze. Nie warto jednak decydować się na zakończenie eksperymentu na takim etapie.
Przykład
Kalkulator pokazuje Ci, że test musi trwać przynajmniej miesiąc przy podanej średniej liczbie użytkowników. Po tygodniu widzisz, że wersja B ma zdecydowanie lepsze wyniki niż wersja A. Możesz pomyśleć, że Twoja hipoteza testowa się potwierdziła. W rzeczywistości wyniki na tym etapie nie były jeszcze statystycznie istotne i ryzykujesz wybór niewłaściwej opcji.
Jeśli wiesz, że aplikacja nie będzie mieć wystarczająco wielu użytkowników, żeby móc przeprowadzić statystycznie istotne testy w rozsądnym czasie, rozważ inne metody badawcze. W innym wypadku wydasz dużą sumę na testy, a i tak nie będziesz wiedzieć, jakie rozwiązanie jest najlepsze.
Przypadek nr 4. Nie wiesz, jak sformułować hipotezę.
Jak już wspominaliśmy, opracowanie hipotezy to pierwszy krok przy projektowaniu testów A/B. Hipotezy podpowiadają, jakie zmiany w interfejsie mogą poprawić wyniki i wskazują, które zmienne należy monitorować podczas testów.
Czasem jednak żadna hipoteza nie przychodzi do głowy. Jeśli to także Twój problem, poczekaj z testami i skup się na gromadzeniu danych o tym, jak użytkownicy korzystają z aplikacji, poznaj ich preferencje itp.
Polegaj na danych, żeby tworzyć trafniejsze hipotezy. Możesz na przykład sprawdzić raporty Google Analytics, wysłać klientom ankiety, poprosić użytkowników o feedback albo przeprowadzić z nimi wywiady. Zastanów się też nad zleceniem audytu UX, żeby dowiedzieć się, czy Twoje rozwiązania są zgodne ze standardami w projektowaniu aplikacji i nie wywołują u użytkowników poczucia zagubienia. To pomoże Ci lepiej ich zrozumieć i da podstawę do opracowania hipotez.
Przypadek nr 5. Chcesz równocześnie sprawdzić kilka czynników.
Jeśli chodzi o testowanie różnych wariantów tej samej zmiany, wtedy nie ma problemu. Trzeba tylko mieć więcej grup użytkowników, osobno dla wersji A, B, C i D. Sprawdzanie wielu różnych czynników na raz nie jest jednak zalecane, ponieważ taki test nie wskaże Ci, co spowodowało zmiany w zachowaniu użytkowników.
Możesz przygotować kilka testów i sprawdzać zmiany stopniowo, chociaż może to być dość czasochłonne. W takim przypadku warto rozważyć również inne metody, które pozwalają sprawdzić, jak zmiany w aplikacji wpływają na zachowanie użytkowników i czy UI jest intuicyjny. Testy użyteczności mogą być wtedy dobrą opcją.
Testy użyteczności lub A/B
Testy A/B są ilościową metodą badawczą, dlatego pokazują, CO dzieje się w aplikacji po wprowadzeniu zmian. Jednak to jakościowe metody, takie jak np. testy użyteczności, mogą Ci wytłumaczyć DLACZEGO coś ma miejsce.
Testy użyteczności pozwalają sprawdzić, czy aplikacja mobilna jest intuicyjna z perspektywy użytkowników. Pokazują też, jakie elementy aplikacji sprawiają im problemy, dzięki czemu możesz wprowadzić zmiany do projektu i ulepszyć UX.
Jak wyglądają testy użyteczności?
Podczas testowania uczestnik wykonuje konkretne zadania w aplikacji. Często obserwuje to badacz, który zadaje mu pytania, żeby lepiej zrozumieć emocje uczestnika i powody, które skłaniają go do podejmowania pewnych działań. Możesz przeprowadzać testy użyteczności zdalnie lub stacjonarnie.
Na przykład jeśli planujesz dodać nowe funkcje, możesz najpierw przeprowadzić testy użyteczności, żeby ustalić, czy użytkownicy rozumieją, jak one działają i dostrzegają ich wartość.
Ta metoda UX researchu pozwoli Ci zaoszczędzić czas i pieniądze. Dlaczego? Pomaga ustalić, jakie elementy wymagają ulepszeń jeszcze zanim na dobre rozpocznie się programowanie. Pisanie kodu jest o wiele bardziej kosztowne niż testowanie, więc lepiej się upewnić, że implementujesz właściwą wersję designów.
Testy AB w aplikacjach mobilnych vs webowych
Jeśli dopiero zaczynasz przygodę z testami AB albo wcześniej zdarzało Ci się je przeprowadzać tylko w aplikacji webowej, rozpoczynanie testów w aplikacji mobilnej będzie zupełnie nowym doświadczeniem. Co warto wiedzieć?
- Pewne rzeczy działają dobrze na stronie www, ale nie sprawdzają się w aplikacjach mobilnych — użytkownicy korzystają z różnych typów aplikacji w zależności od lokalizacji albo celu i mają wtedy inne potrzeby. Dlatego nawet jeśli testowałeś zmianę w UI na www i okazała się sukcesem, niekoniecznie musi tak być w przypadku mobilnej wersji aplikacji.
- Aplikacje mobilne oferują inne możliwości — na smartfonie możesz tapnąć powiadomienie, żeby otworzyć aplikację, szybko zrobić zdjęcie, a nawet przeglądać pewne elementy aplikacji w trybie offline.
- Feature flags — w aplikacjach webowych dodajesz zmiany, a użytkownicy od razu mogą je zobaczyć. W aplikacjach mobilnych trzeba je najpierw dodać do sklepu i czekać na recenzję zanim aplikacja trafi do użytkowników. Można ten proces przyspieszyć, konfigurując pewne elementy zdalnie za pomocą tzw. feature flags. Przydaje się to w testach A/B, ponieważ pozwala włączać i wyłączać funkcje wedle potrzeb i nie trzeba za każdym razem czekać na recenzję. Wybrane segmenty użytkowników mogą widzieć wersje A i B.
Twoim zadaniem jako product ownera jest przygotowanie dokumentu, który objaśnia, jak feature flags powinny działać. W ten sposób pokażesz programistom, jak mają skonfigurować testy.
Jeśli ciekawi Cię przeprowadzanie testów A/B od strony technicznej, przeczytaj nasz artykuł o feature toggles.
Podsumowanie – testy A/B z użytkownikami aplikacji
W niektórych przypadkach testy A/B mogą efektywnie wspierać Cię w procesie optymalizowania aplikacji. Zespoły mogą sprawdzać różne elementy, takie jak projekt UI, nawigację, formularze, treści czy funkcje.
Ta metoda umożliwia podejmowanie decyzji w oparciu o dane, co pozwala ulepszyć UX, zwiększyć liczbę konwersji i lepiej poznać zachowania użytkowników. Żeby jednak przeprowadzić wartościowe testy, trzeba najpierw ustalić odpowiednie cele, wybrać właściwe zmienne do monitorowania i prowadzić eksperyment wystarczająco długo.
Potrzebujesz pomocy przy projektowaniu i wdrażaniu testów A/B w swojej aplikacji? Skontaktuj się z naszym zespołem.