Implementacja modułu czy funkcji to ważny etap procesu tworzenia oprogramowania, ale nie jedyny. Aplikację uzupełnioną o nowy element trzeba jeszcze przetestować, by upewnić się, że działa poprawnie.
Chociaż ta faza zajmuje głównie programistów i testerów, również product owner pełni w niej ważną rolę. To do niego należy decyzja, jakie testy należy przeprowadzić. Wystarczą niewielkie testy wewnątrz zespołu? Czy lepsze będą testy manualne na dużą skalę?
Niezależnie od tego, jaką opcję wybierzesz, pomocą służy TestFlight. Wiedza o tym, jak korzystać z tej platformy umożliwi Ci sprawnie zarządzanie zadaniami z obszaru Quality Assurance.
Testowanie aplikacji – co musisz wiedzieć?
Specjaliści QA sprawdzają aplikację pod kątem funkcjonalności, wydajności i optymalizacji. Testom poddaje się zarówno całość oprogramowania, jak i wybrane elementy. Celem zawsze jest wykrycie błędów czy luk w systemie.
Dobrą praktyką jest dostarczanie testerom pojedynczych funkcjonalności zamiast całych paczek z funkcjami. To pozwala dokładnie przetestować wybrany element. Jest jednak pewien haczyk. Taki sposób działania wiąże się z częstym wysyłaniem buildów (kompilacji), zwykle do wielu osób. Aby sobie to ułatwić, korzysta się z zewnętrznych platform do testów oraz z natywnego rozwiązania firmy Apple o nazwie TestFlight.
To narzędzie pozwala m.in. kontrolować, kto przetestował aplikację, ile było awarii na danej kompilacji i ile informacji zwrotnych przesłali testerzy.
Aby czerpać z niego jak najwięcej korzyści, warto dowiedzieć się, jakie TestFlight daje możliwości oraz jakie uprawnienia należy przypisywać poszczególnym osobom.
Co to jest TestFlight i jak ułatwia testowanie?
TestFlight to platforma firmy Apple służąca do wysyłania użytkownikom testowych wersji aplikacji. Oferowana jest w ramach iOS Developer Program.
Rejestracja w usłudze pozwala dystrybuować aplikacje iOS do wewnętrznych lub zewnętrznych testerów, którzy mogą następnie przesyłać informacje zwrotne o aplikacji.
Pakiet TestFlight SDK dodatkowo umożliwia otrzymywanie zdalnych logów, raportów o awariach aplikacji i opinii testerów.
Podstawowe informacje o TestFlight
- Rozwiązanie jest bezpłatne, wykorzystywane do beta testów aplikacji.
- Korzystanie z tej platformy umożliwia testowanie aplikacji na wielu urządzeniach mobilnych bez potrzeby ich rejestrowania.
- Obsługuje aplikacje na iOS, iPadOS, macOS, tvOS, watchOS, iMessage.
- Automatycznie aktualizuje treści, żeby testerzy zawsze mieli dostęp do najnowszych wersji.
- Pozwala na jednoczesne testowanie do 100 aplikacji, a każda z nich może obsługiwać wiele kompilacji (buildów). Kompilacje pozostają aktywne przez 90 dni od daty przesłania.
- TestFlight ułatwia instalowanie wersji beta bez konieczności zarządzania identyfikatorami UDID urządzeń ani provisioning profile.
- Ważna jest znajomość ról osób, które mogą być testerami w TestFlight. Nadanie zbyt wielu uprawnień niewłaściwej osobie może nieść ze sobą przykre konsekwencje.
Typy użytkowników i ich uprawnienia
Żeby móc zacząć korzystać z TestFlight, najpierw deweloper musi przesłać kompilację do platformy testowej. Potem Twoim zadaniem będzie dodanie do projektu osób, które mają testować aplikację. W zależności od potrzeb możesz dodawać testerów wewnętrznych lub zewnętrznych.
Kim jest tester wewnętrzny?
To członek Twojego zespołu w App Store Connect, który pełni jedną z następujących ról:
- administrator,
- menedżer aplikacji,
- programista,
- marketer.
Marketer ma najmniejsze uprawnienia spośród wszystkich wyżej wymienionych. Dlatego jeśli nie wiesz, jaką rolę przydzielić testerowi, zdecyduj się właśnie na tę opcję. W tym przypadku Apple nie musi weryfikować aplikacji w wersji beta przed wysłaniem jej do testerów.
Więcej o uprawnieniach poszczególnych ról dowiesz się tutaj.
Zasady dodawania testerów wewnętrznych
- Możesz dodać do 100 takich testerów.
- Każdy członek zespołu może testować aplikację na maksymalnie 30 urządzeniach Apple.
- Wszyscy testerzy wewnętrzni otrzymują powiadomienie o nowej kompilacji, gdy tylko skończy się proces przetwarzania w App Store Connect. Dzieje się to automatycznie i nie wymaga od Ciebie dodatkowej pracy.
Kim jest tester zewnętrzny?
To każdy, kto chce przetestować aplikację i nie należy do zespołu. Zanim tester zewnętrzny będzie mógł rozpocząć testowanie, Apple musi zweryfikować aplikację. Taki użytkownik nie ma dostępu do Twojego konta na App Store Connect. Może jedynie pobierać i instalować aplikację.
Zasady dodawania testerów zewnętrznych
- Obowiązuje ograniczenie do 10 000 testerów zewnętrznych na aplikację.
- Testerów zewnętrznych dodajesz za pośrednictwem poczty e-mail.
- Możesz dzielić ich na grupy, co ułatwia zarządzanie i pomaga kontrolować, kto otrzymał nową wersję aplikacji do testów.
Testerzy zewnętrzni otrzymują powiadomienie, gdy Apple kończy testowanie aplikacji w wersji beta. Każda nowa kompilacja wydana do testowania będzie ponownie sprawdzana przez Apple. Wtedy etap weryfikacji często przebiega szybciej niż zazwyczaj przy wystawianiu recenzji, ale bywają wyjątki od tej reguły.
Dodawanie nowego członka zespołu
Aby dodać testera wewnętrznego do TestFlight, najpierw zaproś go do zespołu. W tym celu przejdź do sekcji Użytkownicy i dostęp w App Store Connect. Sekcja ta jest dostępna z ekranu siatki, który widziałeś po pierwszym zalogowaniu.
Pamiętaj, że musisz znać adres e-mail tej osoby. Najlepiej, gdy jest on powiązany z identyfikatorem Apple ID. Jeśli dany tester nie ma jeszcze identyfikatora, stanie się nim wprowadzony przez Ciebie e-mail. Po wykonaniu tego zadania kliknij przycisk +.
Źródło: TestFlight
W następnym oknie podaj informacje o nowym użytkowniku i przypisz mu odpowiednią rolę. Osoby pełniące następujące role mogą być dodawane jako testerzy: administrator, deweloper, marketer oraz menedżer aplikacji.
Źródło: TestFlight
Później zaznacz, do jakiej aplikacji tester ma mieć dostęp. Alternatywnie możesz pozostawić zaznaczoną opcję domyślną, w której przyznawany jest dostęp do wszystkich aplikacji.
Źródło: TestFlight
Miej na uwadze, że jeżeli podany adres e-mail nie jest powiązany z identyfikatorem Apple ID, użytkownik musi taki identyfikator utworzyć. Wtedy będzie mógł zaakceptować zaproszenie i stać się wewnętrznym testerem Twojej aplikacji.
Dodanie osoby do zespołu na App Store Connect to pierwszy krok. Kolejnym jest nadanie jej statusu testera wewnętrznego.
Zarządzanie pracą testerów
Testerzy wewnętrzni
Aby dodać członka zespołu jako testera wewnętrznego, przejdź do sekcji Moje aplikacje. Jest ona dostępna z ekranu siatki, który widzisz po pierwszym zalogowaniu. Następnie wybierz jedną ze swoich aplikacji i przejdź do karty TestFlight.
Tutaj w sekcji Builds zobaczysz listę dostępnych wersji tej aplikacji wraz ze wszystkimi kompilacjami, jakie przesłałeś do App Store Connect.
W menu po lewej znajduje się sekcja App Store Connect Users, gdzie znajduje się lista testerów wewnętrznych. Tam możesz też dodawać nowe osoby. Kliknij przycisk +, aby dodać testera z listy członków zespołu.
Źródło: TestFlight
Po wybraniu użytkownika z listy, otrzyma on wiadomość e-mail z linkiem do pobrania aplikacji i zainstalowania jej za pośrednictwem TestFlight.
Od teraz wybrani przez Ciebie testerzy będą otrzymywać powiadomienia o nowej kompilacji od razu po jej załadowaniu na App Store Connect.
Testerzy zewnętrzni
Aby dodać testerów spoza zespołu, najpierw podaj wszystkie niezbędne informacje o aplikacji w wersji beta oraz informacje związane z recenzją aplikacji.
W tym celu na karcie TestFlight wybierz z menu po lewej sekcję Informacje Testowe i wpisz następujące dane:
- Opis aplikacji – krótki tekst, który opowiada o jej funkcjach.
- E-mail z informacją zwrotną – testerzy będą mogli wysyłać opinie na ten adres.
- Marketing URL – adres URL z informacjami o dodawanej aplikacji.
- URL polityki prywatności – link, który prowadzi do polityki prywatności Twojej firmy.
- Informacje kontaktowe
- Uwagi do recenzji – dodatkowe informacje o Twojej aplikacji, które mogą być pomocne podczas jej sprawdzania.
- Informacje dotyczące logowania – nazwa użytkownika i hasło, służące do logowania do Twojej aplikacji.
Następnie kliknij Dodaj zewnętrznych testerów z menu po lewej stronie. Zostaniesz poproszony o utworzenie nowej grupy testowej. W tym przykładzie nazywam ją External. Możesz dowolnie zarządzać liczbą grup, dodając do nich różnych testerów.
Źródło: TestFlight
Po utworzeniu grupy dodaj do niej testerów zewnętrznych. W tym celu kliknij przycisk +.
Źródło: TestFlight
Otworzy się menu kontekstowe, gdzie będziesz mógł dodać nowych testerów. Możesz do tego wykorzystać jeden z następujących sposobów:
- Dodaj nowych testerów – opcja, w której samodzielnie wpisujesz adres e-mail, imię oraz nazwisko testera.
- Dodaj istniejących testerów – tutaj dodajesz osoby, które już testują jedną z Twoich aplikacji lub kompilacji.
- Import z pliku CSV – tu wybierasz odpowiednio przygotowany plik CSV.
Po dodaniu testerów musisz wybrać kompilację, którą wybrana grupa testerów zewnętrznych ma przetestować. Jak to zrobić? Kliknij przycisk + obok sekcji Builds. Następnie wybierz wersję aplikacji oraz konkretną kompilację.
Źródło: TestFlight
Później możesz napisać notatkę informującą testerów, co powinni przetestować w tej kompilacji. Informacje te będą dostępne dla testerów we wszystkich grupach, które mają dostęp do danej kompilacji.
Źródło: TestFlight
Po zatwierdzeniu kompilacja zostanie przekazana do recenzji. Jeśli Apple nie zgłosi żadnych uwag, testerzy będą automatycznie powiadomieni o możliwości sprawdzenia nowej wersji aplikacji. Ty z kolei otrzymasz wiadomość e-mail z potwierdzeniem, że można rozpocząć zewnętrzne testy.
Dana kompilacja jest ważna tylko 90 dni. Po tym czasie trzeba przesłać nową.
Szybkie udostępnianie aplikacji do testów
Wiesz, jak dodawać testerów wewnętrznych i zewnętrznych. Umiesz dzielić ich na grupy i przypisywać im konkretne kompilacje. Ale co jeśli testy mają obejmować dużą grupę osób? Dodawanie wielu testerów poprzez adres e-mail jest zadaniem czasochłonnym. Na szczęście można to uprościć.
Zamiast dodawać testerów zewnętrznych na podstawie adresu e-mail, możesz utworzyć publiczne łącze. Ono pozwoli zainstalować aplikację każdemu, kto dysponuje linkiem. Zaletą tego rozwiązania jest to, że nie musisz znać członków grupy testowej. Jak to zrobić?
Instrukcja
1. Po dodaniu dowolnej kompilacji aplikacji dla Twojej grupy pojawi się opcja Włącz łącze publiczne. Wybierz ją.
2. Po potwierdzeniu chęci wygenerowania linku, otrzymasz adres URL TestFlight, który możesz udostępnić testerom. Link działa dokładnie w taki sam sposób jak wiadomość e-mail z zaproszeniem.
3. Po otwarciu linku na urządzaniu, tester zostanie poproszony o instalację aplikacji TestFlight (jeśli jeszcze jej nie ma). Następnie będzie mógł zainstalować Twoją aplikację.
W dostępnych opcjach masz możliwość kopiowania oraz wyłączenia linku. Możesz również ustawić własny limit osób, które będą mogły pobrać aplikację poprzez dany adres URL. Testerzy zaproszeni przez łącze liczą się do limitu 10 000 testerów.
Zapraszanie poprzez link jest bardzo wygodną metodą, ponieważ nie wymaga dodawania testerów do grup ani do naszego konta Apple. Nie jest potrzebna znajomość adresu e-mail testera. Wystarczy, że skorzysta on z łącza URL.
W przypadku testerów zewnętrznych oraz zapraszania przez link należy pamiętać, że kolejne wersje aplikacji nie są im automatycznie udostępniane, jak dzieje się to w przypadku testerów wewnętrznych. Każda nowa kompilacja musi zostać dodana do grupy, w której udostępniony został dany link.
Zarządzanie aplikacjami przez testera
Tester – niezależnie od tego, czy jest testerem wewnętrznym czy zewnętrznym – ma zawsze to samo zadanie. Musi przetestować aplikację.
Najważniejszym celem testera jest znalezienie błędów powstałych podczas kodowania – im wcześniej, tym lepiej. Dotyczy to też błędów potencjalnych, które mogą okazać się krytyczne w końcowej fazie.
Ważne są również testy interfejsu użytkownika. Dzięki nim sprawdzasz, czy elementy tego interfejsu są napisane zgodnie ze specyfikacją.
Niezależnie od tego, w jaki sposób dostarczono testerowi kompilację, otrzyma on zaproszenie do wyświetlenia Twojej aplikacji w TestFlight. Umożliwi mu to testowanie na prawdziwych urządzeniach.
Dodanie testowanej aplikacji do TestFlight
Zanim rozpoczniesz sprawdzanie aplikacji, najpierw musisz ją dodać do platformy testowej. Można to zrobić na dwa sposoby, zaczynając od kliknięcia w przycisk Zobacz w TestFlight.
Wariant nr 1
Jeżeli nie zainstalowałeś jeszcze aplikacji TestFlight, otworzy się strona z poniższymi wskazówkami.
Źródło: TestFlight
Po kliknięciu w pierwszy punkt przejdziesz do sklepu App Store, gdzie można pobrać aplikację do testów. Pokaże Ci się też kod, który należy podać w TestFlight, aby dodać Twoją aplikację do tej platformy. Trzeba tylko wybrać przycisk Realizuj i wpisać kod.
Przekierowanie po naciśnięciu Wyświetl w TestFlight odbywa się za pośrednictwem łączy uniwersalnych. Jeżeli z jakiegoś powodu nie doprowadzą one do otwarcia aplikacji TestFlight, to rozwiązaniem tego problemu jest skopiowanie łącza i otwarcie go w Safari.
Po wpisaniu poprawnego kodu i zainstalowaniu aplikacji widoczna będzie jej karta informacyjna wraz z przyciskiem otwierającym aplikację.
Wariant nr 2
Masz już zainstalowaną i skonfigurowaną aplikację TestFlight? W takim razie po kliknięciu Wyświetl w TestFlight powinna się ona uruchomić. Następnie zrealizuje zaproszenie do platformy, wykorzystując do tego Apple ID, którego aktualnie używasz w TestFlight. Twoim zadaniem będzie jedynie zaakceptowanie aplikacji.
Na podglądzie Twojej aplikacji zobaczysz informacje na jej temat oraz przycisk Instaluj. Po zaakceptowaniu oraz zainstalowaniu Twojego rozwiązania, pojawi się karta informacyjna wraz z przyciskiem otwierającym aplikację.
Po instalacji aplikacja zostanie pobrana na telefon i wyświetli się na ekranie głównym. Od tej pory możesz już ją testować. Obok nazwy widoczna będzie pomarańczowa kropka, informująca o tym, że instalację przeprowadzono za pośrednictwem platformy TestFlight.
Wysyłanie opinii przez testera
Każdy tester, który korzysta z aplikacji TestFlight może przekazywać informacje zwrotne deweloperowi. W jaki sposób?
Pierwszą dostępną opcją jest mechanizm zrzutów ekranu. Po zrobieniu zrzutu ekranu Twojej aplikacji, testerowi pokaże się komunikat Udostępnij opinię o wersji beta w opcjach udostępniania pliku.
Po wybraniu tej opcji, tester zobaczy okno, w którym będzie mógł dodać notatkę oraz (opcjonalnie) swój adres e-mail.
Informację zwrotną można również wysłać za pośrednictwem aplikacji TestFlight. Wejdź na kartę produktu testowanej aplikacji i kliknij opcję Udostępnij opinię o wersji beta. Wtedy zyskasz możliwość wysłania informacji zwrotnej, która może zawierać też zdjęcie ilustrujące problem.
Ostatnią opcją jest udostępnienie informacji zwrotnej poprzez skrót do aplikacji na ekranie głównym. Wystarczy przytrzymać dłużej ikonę testowanej aplikacji, aby otworzyć menu kontekstowe. W nim wyświetli się opcja Udostępnij opinię o wersji beta.
Przeglądanie informacji zwrotnych na App Store Connect
Informacje zwrotne wysyłane przez testerów możesz przeglądać na App Store Connect w zakładce TestFlight.
Z menu po lewej stronie wybierasz sekcję zrzuty ekranu. W tym miejscu znajdują się opinie wysyłane przez testerów (ze zdjęciami lub bez).
Źródło: TestFlight
Naciśnięcie wybranego raportu spowoduje wyświetlenie szczegółowych danych m.in.:
- informacji zwrotnej,
- informacji o użytkowniku iOS,
- informacji o testowanym urządzeniu,
- adresu e-mail testera,
- czasu korzystania z aplikacji
- wersji iOS.
Wysyłanie raportów o awariach
Aplikacje zainstalowane przez TestFlight mogą raportować awarie. Co to oznacza w praktyce? Jeśli pojawi się taka potrzeba, pokaże się powiadomienie, że aplikacja uległa awarii. To umożliwi testerowi wysłanie na ten temat raportu.
Wszystkie raporty przesyłane są do App Store Connect, gdzie możesz je przeglądać w zakładce TestFlight. Musisz tylko wejść w sekcję Awarie w menu po lewej stronie.
Przykładowy raport Crash Feedback w aplikacji TestFlight.
Raporty o awariach zawierają te same informacje, co pozostałe opinie. W tym przypadku dostajesz dodatkową opcję, czyli możliwość otwarcia raportu w aplikacji Xcode. Jest to niezwykle użyteczna funkcja, która pozwala szybko znaleźć przyczynę awarii.
Testy aplikacji na iOS z TestFlight
Znajomość tego narzędzia i samego procesu testowania, dodawania nowych testerów czy wysyłania raportów jest ważna dla wszystkich członków zespołu, w tym również product ownerów.
Po lekturze tego poradnika product owner będzie w stanie samodzielnie wykonywać więcej zadań związanych z testowaniem. Tym samym zyska większą kontrolę nad projektem. Będzie mógł na przykład:
- uzupełnić dane o aplikacji potrzebne do testów,
- zapraszać nowych testerów wewnętrznych,
- tworzyć grupy testerów zewnętrznych,
- udostępniać aplikację do testów poprzez link,
- odczytywać informacje zwrotne od testerów.
Wiedza o platformie TestFlight pomoże ulepszyć organizację testów aplikacji. To rozwiązanie nie wymaga stosowania zewnętrznych platform, zapewnia większe bezpieczeństwo i usprawnia proces wytwarzania oprogramowania. Dlatego warto wiedzieć, jak działa.
