PraceNr 05
Empik · niezależna koncepcja
Uwzględniłam cenę z dostawą przy wyborze książki.
Niezależna koncepcja dla Empiku: porównanie ofert konkretnego wydania z dostawą w wybranym terminie. Zbudowałam działającą porównywarkę, która pokazuje stan egzemplarza i sprzedawcę, przelicza kwotę z dostawą oraz wyjaśnia, dlaczego oferta nie spełnia wybranych warunków. Projekt opiera się na obserwacjach publicznego serwisu. Nie prowadziłam badań z ludźmi i nie mierzyłam wyników sprzedaży.
- Ocena procesu zakupowego
- Projektowanie interakcji
- Planowanie eksperymentów
Najniższa cena książki to dopiero początek rachunku
W przykładzie poniżej nowa książka kosztuje 39 zł. Z dostawą to już 50,99 zł, a przewidywany termin doręczenia sięga poza piątek.
Inny sprzedawca liczy sobie za książkę więcej. Za to podaje wcześniejszy termin. Obie oferty wymyśliłam wokół prawdziwego tytułu, żeby dało się prześledzić tę decyzję.
Koncepcję zaprojektowałam dla osoby, która wie już, jakiego wydania szuka, i potrzebuje książki na konkretny dzień, a projekt pokazuje to wydanie przez cały czas, gdy porównuje ona stan egzemplarza, sprzedawcę i kwotę do zapłaty przy wybranym sposobie dostawy. Porównanie ma też prawo skończyć się bez wyboru, jeśli żadna oferta nie spełnia wymagań.
Punktem wyjścia był krótki przegląd Empiku bez logowania, na komputerze i w widoku telefonu o szerokości 390 pikseli. Sprawdziłam:
- wyszukiwanie,
- jedną książkę o historii sztuki i oferty jej sprzedawców,
- informacje o dostawie,
- koszyk.
Nie prowadziłam wywiadów z klientami, nie miałam wglądu w analitykę wewnętrzną i nie składałam zamówień. Studium pokazuje więc działający projekt i plan oceny, bez zmierzonego wyniku konwersji.
Ryc. 1 Eksponat interaktywny
Co ustaliłam podczas przeglądu
Otwórz zapis, by zobaczyć zaobserwowany interfejs, wynikające z niego pytanie i decyzję projektową.
Wysyłka i doręczenie pojawiały się w różnych miejscach
Na stronie produktu podano wysyłkę w jeden dzień roboczy. Panel dostawy opisywał kolejne 1–2 dni robocze po wysyłce.
- Podstawa
Zrzuty produktu i informacji o dostawie z przeglądu bez logowania.
- Decyzja
Projekt osobno opisuje przewidywany termin doręczenia. Badanie musi ustalić, czy oryginalna treść prowadzi do błędnej decyzji zakupowej.
Komunikaty sprzedawców o dostawie miały warunki
Sprawdzone oferty zawierały różne komunikaty, w tym bezpłatny odbiór w salonie, progi zależne od aplikacji i dostawę od podanej kwoty.
- Podstawa
Sprawdziłam osiem ofert. To próbka sposobu prezentacji, bez danych o sprzedawcach i zamówieniach.
- Decyzja
Porównuję sumy dla jednego wybranego sposobu dostawy. Korzyść z niespełnionymi warunkami nie może obniżać bieżącej kwoty.
Mobilna strona produktu pokazywała dwie drogi zakupu
Dolny obszar akcji wyróżniał dodanie do koszyka i tańszy zakup w aplikacji. Premium pojawiało się w innym komunikacie o dostawie.
- Podstawa
Zrzut mobilny dokumentuje hierarchię wizualną. Nie pokazuje reakcji uczestnika badania.
- Decyzja
Kwota do zapłaty w przeglądarce musi być widoczna. Pozyskiwanie użytkowników aplikacji i programu członkowskiego wymaga osobnej oceny biznesowej.
Dalszy zakup bez rejestracji pozostał niesprawdzony
Przy wejściu do finalizacji zakupu były opcje logowania i „Kup bez rejestracji”. Na tym ekranie zakończyłam przegląd; nie sprawdzałam płatności ani potwierdzenia zamówienia.
- Podstawa
Nie dokonano zakupu, nie wysłano danych osobowych ani nie przeprowadzono badania finalizacji zakupu z udziałem ludzi.
- Decyzja
Działający projekt kończy się na wyborze oferty. Nie ocenia jakości późniejszych ekranów finalizacji zakupu.
Różne komunikaty o dostawie uzasadniają sprawdzenie, jak porównuje się oferty. Na ich podstawie nie można określić odsetka przerwanych zakupów w Empiku ani dowieść, że potrzebny jest rozbudowany interfejs porównania.
Skupiłam się na porównaniu ofert
Pierwotny zakres sięgał od wyszukiwania książek po finalizację zakupu. Znalezienie tytułu i opłacenie zamówienia sprawiają trudność z innych powodów, a gdybym zmieniła oba etapy naraz, nie wiedziałabym, która zmiana pomogła. Działający projekt dotyczy więc jednej decyzji. Chodzi o to, u którego sprzedawcy kupić ten sam tytuł w jednym egzemplarzu.
Oferta składa się tu z czterech elementów: poszukiwanego wydania, stanu egzemplarza, sprzedawcy i wyceny wybranego sposobu dostawy. Cena to kwota za książkę plus koszt tej dostawy. W danych przykładowych nie ma programu członkowskiego, kuponu z aplikacji ani promocji związanej z płatnością, więc wynik każdego przykładu da się jednoznacznie policzyć, choć wersja produkcyjna potrzebowałaby prawdziwych zasad każdej korzyści i grupowania dostaw.
Tytuł, nazwisko Susie Hodge i twarda oprawa pochodzą ze sprawdzonej strony produktu, natomiast nazwy sprzedawców, ceny, opłaty i przedziały dat w prototypie wymyśliłam. W opisie odsyłam do źródła i nie wymyślam numeru ISBN. Prawdziwe łączenie ofert wymagałoby zweryfikowanego identyfikatora i uzgodnienia danych katalogowych, zanim egzemplarz kolejnego sprzedawcy trafiłby do tego samego porównania.
Termin sprawdzam według ostatniego dnia przewidywanej dostawy
Oferta z przewidywaną dostawą 16–19 października nie spełnia warunku dostawy do 16 października. Gdybym brała pod uwagę pierwszy dzień przedziału, ukryłabym właśnie tę niepewność, którą kupujący musi ocenić.
Ta reguła jest ostrożna. Jej kosztem jest to, że oferta, która może dotrzeć w piątek, trafia poniżej ofert spełniających warunki. Przedział dat pozostaje jednak widoczny, a kupujący może usunąć termin graniczny. Interfejs nigdy nie przedstawia szacunku jako gwarancji.
Ryc. 2 Eksponat interaktywny
Wybierz egzemplarz z dostawą w wybranym terminie
Zacznij od nowego egzemplarza z dostawą do piątku. Porównaj cenę książki z łączną kwotą, potem sprawdź odbiór osobisty lub uwzględnij używane egzemplarze.
Niezależna koncepcja. Nazwy sprzedawców, ceny, opłaty i daty są fikcyjne. Brak bieżącej dostępności i możliwości zakupu.
Porównanie ofert · scenariusz z ustalonymi danymi
Książka na piątek.
Zachowaj wybrane wydanie. Wybierz sposób odbioru, określ najpóźniejszy termin i zdecyduj, czy dopuszczasz używany egzemplarz.
Symbole w sztuce. Poznaj ukryte znaczenia
Poszukiwane wydanie
Wydanie polskie, twarda oprawa, jeden egzemplarz
Przykład E01 · to samo wydanie we wszystkich ofertach
Tytuł, autorka i rodzaj oprawy pochodzą ze sprawdzonej strony produktu. Poniższe oferty i dane o dostawie są fikcyjne; w tym prototypie ISBN nie został zweryfikowany.
Oferty do porównania
Oferty spełniające warunki: 2 z 5.
Najpierw oferty spełniające warunki, według łącznej ceny. Przy remisie decyduje ostatni przewidywany dzień dostawy. Pozostałe oferty poniżej mają wyjaśnienie. Niepełnych wycen nie można porównać.
Żadna oferta nie spełnia wszystkich wybranych warunków.
Przy pozostałych ofertach widać, czego brakuje lub który warunek nie jest spełniony. Możesz zmienić termin albo sposób dostawy. Możesz też zachować swoje wymagania.
Najniższa łączna cena wśród pasujących ofert
Paper Window
Nowy
Fikcyjna księgarnia. To samo poszukiwane wydanie.
Dostawa lub odbiór
Przewidywana dostawa 14–16 października
Przewidywany termin obejmuje wysyłkę i transport. Dostępność jest symulowana.
Razem z dostawą
56,99 PLN
- Książka
- 48,00 PLN
- Dostawa
- 8,99 PLN
Spełnia wybrane warunki
Book Table
Nowy
Fikcyjna księgarnia. To samo poszukiwane wydanie.
Dostawa lub odbiór
Przewidywana dostawa 13–14 października
W tym przykładzie wcześniejszy przewidywany termin oznacza wyższą opłatę za dostawę.
Razem z dostawą
62,99 PLN
- Książka
- 44,00 PLN
- Dostawa
- 18,99 PLN
Nie spełnia wybranych warunków
Second Reading
Używany · stan bardzo dobry
Przykładowy używany egzemplarz. Drobne ślady na okładce; według przykładowego opisu bez notatek.
Dostawa lub odbiór
Przewidywana dostawa 14–16 października
To samo poszukiwane wydanie. Egzemplarz pozostaje używany po zmianie sposobu dostawy.
- To używany egzemplarz. Obecnie wybrano tylko nowe.
Razem z dostawą
39,99 PLN
Używany egzemplarz wykluczony
- Książka
- 31,00 PLN
- Dostawa
- 8,99 PLN
Nie spełnia wybranych warunków
Long Shelf
Nowy
Fikcyjna księgarnia. Najniższa cena książki wśród nowych egzemplarzy.
Dostawa lub odbiór
Przewidywana dostawa 19–21 października
Niska cena książki nie skraca czasu wysyłki i transportu.
- Ostatni dzień przewidywanego przedziału wypada po wybranym terminie. Daj sobie więcej czasu albo zmień sposób dostawy.
Razem z dostawą
50,99 PLN
Po wybranym terminie
- Książka
- 39,00 PLN
- Dostawa
- 11,99 PLN
Niepełna wycena
Open Index
Nowy
Przykładowa niepełna wycena. Brakująca kwota nigdy nie jest uznawana za zero.
Dostawa lub odbiór
Brak przewidywanego terminu dostawy
Do zakończenia porównania potrzebne są wycena dostawy i przewidywany przedział dat.
- Koszt dostawy jest nieznany. Poproś o pełną wycenę; bez sumy nie można uznać tej oferty za tańszą.
- Termin dostawy jest nieznany. Poproś o przewidywany termin, zanim oprzesz na tej ofercie decyzję.
Razem z dostawą
Jeszcze nie wiadomo
Niepełna wycena
- Książka
- 42,00 PLN
- Dostawa
- Jeszcze nie wiadomo
Przewidywane przedziały obejmują wysyłkę i transport. Nie są gwarancją doręczenia. Kwoty dla odbioru osobistego nie obejmują kosztu Twojego dojazdu; w rzeczywistej ofercie sprawdź miejsce, godziny otwarcia i ostateczny termin odbioru. Wszystkie daty to stałe dane przykładowe.
Wybrana oferta
Wybór służy tylko porównaniu. Nic nie trafia do koszyka i nie jest składane zamówienie.
Wybierz ofertę spełniającą warunki.
- Książka
- Dostawa
Razem z dostawą
Przy dostawie kurierem do piątku warunki spełniają dwa nowe egzemplarze. Book Table ma niższą cenę książki. Z dostawą wychodzi jednak drożej: 62,99 zł wobec 56,99 zł w Paper Window. Book Table podaje też wcześniejszy przewidywany termin. Lista pokazuje rachunek i różnicę terminów, dlatego samo określenie „najtańsza” nie opisuje wszystkich preferencji kupującego.
Używany egzemplarz liczy się dopiero wtedy, gdy kupujący dopuści taki stan. Wymaganie zmienia się jawnie, a wydanie pozostaje to samo.
Open Index ma atrakcyjną cenę książki i niepełną wycenę dostawy, więc nie trafia do rankingu ofert spełniających warunki. Przy sprzedawcy zostaje informacja o brakach i wskazany następny krok. Brakujący koszt nigdy nie zamienia się w bezpłatną dostawę.
Uwzględnij wybraną dostawę w porównaniu
Oryginalny zrzut pokazuje komunikaty sprzedawców przy jednym publicznie dostępnym produkcie. Projekt zestawia stan egzemplarza, przewidywany termin i cenę z dostawą dla kontrolowanego scenariusza. Cen na obu obrazach nie należy traktować jako porównania przed zmianą i po niej.
Empik nie zlecił ani nie poparł tej pracy. Projekt jest niezależnym ćwiczeniem projektowym; nie dowodzi wzrostu liczby opłaconych zamówień.
Rozbudowane porównanie musi uzasadniać swój koszt
Lista porównawcza pokazuje różnice. Wymaga też więcej czytania. Komuś, kto kupuje u znanego sobie sprzedawcy, może wystarczyć czytelniejsze podsumowanie na stronie produktu.
Tę mniejszą zmianę zachowałam jako poważną alternatywę i oceniałam ją według tych samych warunków zakupu, bo sam wygląd listy byłby słabym powodem, by wybrać kosztowniejszą integrację.
Ryc. 5 Eksponat interaktywny
Trzy sposoby wsparcia tej samej decyzji zakupowej
Porównaj miejsce podjęcia decyzji, dane potrzebne każdej koncepcji i koszt przyjęty w prototypie.
Pełna oferta obok przycisku zakupu
Zachowaj strukturę produktu. Zbierz sprzedawcę, stan, wybraną dostawę i kwotę do zapłaty w jednym podsumowaniu.
- Podstawa
Różne komunikaty o dostawie uzasadniają zebranie informacji w jednym miejscu.
- Decyzja
Ten wariant jest właściwy, jeśli ludzie mogą poprawnie wybierać bez wielokrotnego porównywania sprzedawców. Nadal trzeba przechodzić między alternatywnymi ofertami.
Porównywalne oferty na jednej liście
Zachowaj to samo wydanie i porównuj sumy dla wybranego sposobu dostawy. Pokaż, dlaczego każda pozostała oferta nie spełnia warunków kupującego.
- Podstawa
Działający przykład pokazuje zmianę kolejności po doliczeniu dostawy, spóźniony termin i brakujące dane wyceny.
- Decyzja
Zbudowałam ten wariant, ponieważ pozwala prześledzić reguły decyzji. Wdrożenie wymagałoby dowodów na powtarzające się błędy porównania oraz wiarygodnych danych o wycenie.
Wybór dostawy przed przeglądaniem ofert
Zachowuj sposób i termin dostawy podczas zakupów, wcześniej pokazując odpowiednie oferty.
- Podstawa
Osoba z nieprzekraczalnym terminem mogłaby rzadziej wpisywać te same dane; ta korzyść pozostaje hipotezą.
- Decyzja
Ten kierunek warto odłożyć, dopóki badanie nie pokaże korzyści z wcześniejszego wskazania dostawy. Wymaga deklaracji od osoby, która dopiero poznaje ofertę sklepu.
Działający projekt rozwija wariant B. Wariant A pozostaje mniej kosztownym kandydatem do wdrożenia, dopóki rzeczywiste zadania nie pokażą, że porównanie sprzedawców wymaga więcej miejsca.
Porządkuję listę według jawnej, ograniczonej reguły
Najpierw pojawiają się oferty spełniające warunki, uporządkowane według znanej sumy dla wybranego sposobu dostawy. Przy remisie decyduje ostatni dzień przewidywanego przedziału. Pozostałe oferty są niżej, z kwotami i wyjaśnieniami.
Każdy może prześledzić ten wynik, ale w granicach przyjętych wymagań reguła faworyzuje cenę. Oferta z wcześniejszą dostawą zostaje na liście, a badanie z ludźmi musi sprawdzić, czy kupujący nadal ją zauważają. Miejsce sponsorowane wymagałoby widocznego oznaczenia i osobnej reguły. W tym przykładzie nie ma reklam.
Po zmianie wyboru wyjaśnienie musi być aktualne
Wystarczy wybrać odbiór osobisty, a zmienia się opłata, opis terminu i lista dostępnych sprzedawców. W tym projekcie dostawa jest częścią samej oferty.
Jeśli wybrana oferta nadal spełnia warunki, pozostaje zaznaczona. Jeśli przestaje pasować, podsumowanie prosi o nowy wybór, a przy sprzedawcy pojawia się powód niezgodności.
Ryc. 6 Eksponat interaktywny
Prześledź wybór po zmianie warunku
Przejdź przez stany w tym kontrolowanym scenariuszu, a potem odtwórz je w działającym porównaniu powyżej.
Wybierz Paper Window z dostawą kurierem
Nowy egzemplarz, dostawa do 16 października. Książka za 48 zł i dostawa za 8,99 zł dają 56,99 zł.
- Podstawa
Ostatni przewidywany dzień dostawy w przykładzie to 16 października, więc oferta spełnia warunki.
- Decyzja
Podsumowanie powtarza sprzedawcę, stan, sposób dostawy, przedział dat i cenę z dostawą.
Zmień ten sam wybór na odbiór osobisty
Paper Window oferuje bezpłatny odbiór. Przewidywana gotowość przypada na 13–14 października, a łączna kwota zmienia się na 48 zł.
- Podstawa
Sprzedawca i stan nadal spełniają warunki. Wybrane wydanie pozostaje to samo.
- Decyzja
Zachowaj wybór i zaktualizuj podsumowanie. Ogłoś zmieniony wynik bez przenoszenia fokusu klawiatury.
Przesuń termin na 13 października
Żadna oferta nowego egzemplarza z odbiorem nie spełnia warunków. Przedział 13–14 października nie daje obietnicy gotowości do 13 października.
- Podstawa
Reguła ostatniego dnia pozostawia pusty zbiór pasujących ofert; wykluczone oferty nadal można przeczytać.
- Decyzja
Wyczyść niezgodny wybór i wyjaśnij powód. Zaproponuj usunięcie terminu albo zmianę sposobu dostawy.
Usuń termin i porównaj ponownie
Więcej ofert spełnia warunki, w tym wolniejsza dostawa nowego egzemplarza. Kupujący może też zachować termin i wyjść bez wyboru.
- Podstawa
Złagodzenie wymagania zmienia wynik. Nie zamienia przewidywanego terminu w gwarancję.
- Decyzja
Wymagaj świadomego ponownego wyboru. Reset przywraca początkowe warunki zakupu.
Na telefonie każdy wiersz staje się pełnym, pionowym opisem oferty. Stoi za tym kilka decyzji implementacyjnych:
- Cena ma własne miejsce przy sprzedawcy, a termin i powód wykluczenia pojawiają się dalej, w kolejności czytania.
- Standardowe pola wyboru i przyciski pozwalają obsłużyć interfejs klawiaturą.
- Zmiany wyników są ogłaszane bez przerywania użytkownikowi.
- Żadna nakładka ani przypięty przycisk zakupu nie zasłania porównania.
Wszystkie cztery decyzje wymagają jeszcze sprawdzenia i nie są deklaracją dostępności dla każdego.
Ocena wygenerowana przez AI może podważyć reguły
Poprosiłam model AI, żeby ocenił reguły z czterech celowo różnych perspektyw:
- osoby z nieprzekraczalnym terminem,
- osoby z ograniczonym budżetem, gotowej odebrać używany egzemplarz,
- kogoś, kto nie zna platform z wieloma sprzedawcami,
- osoby, która zmienia sposób dostawy za pomocą klawiatury.
Te perspektywy są wymyślone; nie wynikają z badań person. Model dostał opis działania i poprawne odpowiedzi dla danych przykładowych. Nie obserwował ludzi korzystających z interfejsu.
Zastrzeżenia dotyczyły opisu terminu, niepełnych wycen i utraty kontekstu, gdy wybór przestaje spełniać warunki. Po tej ocenie zmieniłam prototyp:
- ostrożna reguła terminu jest teraz przy swoim polu,
- niepełne wyceny mają osobne oznaczenie,
- po wyczyszczeniu wyboru poprzedni sprzedawca pozostaje oznaczony,
- ograniczenia odbioru osobistego i ustawienia przywracane przez reset są opisane wprost.
Zmiany odpowiadają na ocenę opisanych mechanizmów. Zrozumienie i zaufanie nadal trzeba sprawdzić, obserwując ludzi przy zadaniach.
Osobna ocena AI dotyczyła rzeczywistego zrzutu ekranu z komputera. Wskazała konflikt wizualny: niskie kwoty wykluczonych ofert były tak samo wyraziste jak kwoty ofert spełniających warunki. Zmniejszyłam ich wyróżnienie, przy każdej takiej kwocie dodałam krótki powód wykluczenia, a niedostępnym opcjom nadałam osobną etykietę. Ograniczenie widać teraz tuż obok kwoty, która może przyciągnąć uwagę, a to, czy kupujący je zauważają, musi sprawdzić badanie z ludźmi.
Najpierw sprawdziłabym poprawność decyzji
Zanim ktokolwiek zacznie liczyć zamówienia, chciałabym wiedzieć, czy kupujący wybierają poprawnie. Plan zaczyna się od obecnej wersji serwisu.
Najpierw sześć sesji z obecnym interfejsem
Następną rundę badań rozpoczęłabym od sześciu moderowanych sesji oceniających obecną wersję. Zaprosiłabym polskojęzyczne osoby, które niedawno kupowały książki przez internet, z różną częstotliwością zakupów i różną swobodą w korzystaniu z narzędzi cyfrowych. Zadania dotyczyłyby określonego wydania, ceny z dostawą i wyboru na wskazany termin, a ich treść sprawdziłby wcześniej pilotaż. Nikt nie miałby płacić. Jeśli zadanie zbliżałoby się do transakcji, zastąpiłby je symulowany koszyk.
Te sesje powinny pokazać, czy trudność z porównaniem się powtarza. Jeśli obecny interfejs już pozwala poprawnie wybierać, ograniczyłabym projekt. Jeśli błędy wynikają z niejednoznacznego katalogu, zaczęłabym od rozpoznawania wydania, bo czytelniejsza lista nie naprawi niewiarygodnego katalogu ani brakującej wyceny dostawy.
Potem porównanie z projektem
Dopiero po ustaleniu tego punktu odniesienia przeprowadziłabym wstępne porównanie z 12 nowymi uczestnikami. Wierne odtworzenie obecnego interfejsu i projekt dostałyby dopasowane scenariusze o podobnej złożoności ofert sprzedawców i dostawy. Cztery zrównoważone sekwencje zmieniałyby to, którą wersję i który scenariusz każda osoba zobaczy najpierw. To ogranicza część wpływu kolejności. Uczenie się pozostaje ograniczeniem badania.
Co uznaję za poprawną decyzję
Klucz odpowiedzi uznawałby decyzję za poprawną, gdy obejmuje właściwe wydanie i stan, dostawę spełniającą warunki oraz poprawną sumę. Poprawne byłoby też trafne rozpoznanie, że żadna oferta nie pasuje. Udzieloną pomoc i błędy rachunkowe zapisywałabym osobno. Czas liczyłabym od pokazania zadania do ostatecznej odpowiedzi, razem z informacją o ukończeniu, więc szybki błędny wybór nadal byłby niepowodzeniem.
Warunek przejścia dalej
Wstępny warunek zakłada, że co najmniej 10 z 12 uczestników poprawnie wyjaśni możliwą do ustalenia łączną kwotę oraz wybór wydania i stanu, a żadna fałszywa obietnica dotycząca ceny lub terminu dostawy nie zostanie bez wyjaśnienia. Jeśli dwie osoby powtórzą to samo poważne nieporozumienie, projekt wróci do poprawek.
To lokalne kryteria kolejnej decyzji projektowej. Nie pozwoliłyby oszacować preferencji populacji ani ustalić efektu sprzedażowego.
Eksperyment produkcyjny wymaga wiarygodnych wycen i osoby odpowiedzialnej
Prawdziwy test wymagałby udziału Empiku. Potrzebna byłaby też uzgodniona implementacja i miarodajne dane o zamówieniach. Najpierw sprawdziłabym zdarzenia na całej drodze od wejścia na stronę produktu przez porównanie, koszyk i finalizację aż po opłacone zamówienie, łącznie z ponowionymi próbami i zamówieniami od wielu sprzedawców. Wytyczne GOV.UK dotyczące ukończenia transakcji pomagają ustalić, gdzie transakcja się zaczyna, gdzie się kończy i co trafia do mianownika wskaźnika.
Pierwszy eksperyment powinien zmieniać tylko podsumowanie wybranej oferty, bez zmian w wyszukiwaniu, promocjach i finalizacji zakupu. Wytyczne Microsoft dotyczące eksperymentów wspierają falsyfikowalną hipotezę, odpowiednie przypisanie do wariantów i kontrolę jakości danych. W tym projekcie oznaczałoby to trzy zasady:
- warunki udziału byłyby sprawdzane przed wyświetleniem interfejsu,
- odwiedzający zachowywałby przypisany wariant,
- analiza obejmowałaby każdą przypisaną osobę spełniającą warunki, również wtedy, gdy porównanie się nie załadowało.
Jako główną miarę rozważyłabym odsetek odwiedzających spełniających warunki udziału i przypisanych do wariantu, którzy opłacą zamówienie na papierową książkę w ciągu siedmiu dni od pierwszego spełnienia tych warunków. Analiza musiałaby zaczekać, aż te okresy obserwacji się zakończą. Decyzję biznesową ograniczałyby marża na jednego odwiedzającego spełniającego warunki, anulowane zamówienia i kontakty w sprawie dostawy, a także błędy wyceny i szybkość reakcji strony. Rozkład zamówień między sprzedawcami oraz przesunięcia zakupów z aplikacji lub Premium musiałby ocenić właściciel eksperymentu.
Wielkości próby i czasu trwania jeszcze nie ustaliłam. Jedno i drugie zależy od danych wyjściowych i dopuszczalnej straty biznesowej, a tych brakuje. Osoba odpowiedzialna musiałaby je uzgodnić przed uruchomieniem, a potem określić etapy wdrożenia i warunki wycofania zmiany. Czytelne porównanie nadal nie nadawałoby się do publikacji, gdyby wyceny okazały się błędne albo pogorszyły się wskaźniki kontroli ryzyka biznesowego.
Jeśli nie da się zapewnić pełnych wycen, rozwijałabym mniejsze podsumowanie na stronie produktu, a pełną listę odłożyłabym na później.


