TL;DR
- Projektowanie dla systemów LLM wymaga zmiany paradygmatu z deterministycznych interfejsów na „fuzzy experiences” (rozmyte doświadczenia)
- Interfejs chatowy to tylko jedna z wielu możliwości implementacji, nie obowiązkowy standard dla rozwiązań AI
- Projektanci muszą nauczyć się pracować z systemami, których nie kontrolują w pełni – ani modelu, ani użytkownika
- Kluczowe wyzwanie: jak badać i optymalizować tysiące różnych ścieżek użytkowników, gdzie tylko oni sami wiedzą, czy interakcja była udana
- Nieprzemyślane dodawanie AI do produktów prowadzi do „shitification of UX” – pogorszenia doświadczenia użytkownika
- UX designerzy muszą aktywnie uczestniczyć w procesie trenowania modeli, nie tylko projektować interfejsy
- Różnorodność w zespole projektowym to kluczowy czynnik ochrony przed stronniczością i błędami modeli AI
Wprowadzenie: Panel ekspertów UX w erze LLM
Podcast „Experiencing Data” z Brianem T. O’Neillem zgromadził czterech ekspertów UX specjalizujących się w projektowaniu dla sztucznej inteligencji: Simona Landry’ego (lead UX researcher z Thomson Reuters), Grega Ludelmana (distinguished designer z Sumo Logic), Paspareza (UX designer z Google) oraz prowadzącego Briana T. O’Neilla. Goście dzielą się swoimi spostrzeżeniami na temat aktualnego stanu projektowania UX dla systemów opartych na dużych modelach językowych.
Eksperci zgodnie wskazują, że projektowanie dla systemów AI znajduje się wciąż na wczesnym etapie rozwoju. Zamiast ugruntowanych wzorców projektowych widzimy eksperymentowanie i poszukiwanie. Jak zauważa Pasparez z Google: „Jako branża próbujemy nadążyć. Jesteśmy wciąż niezwykle niedoświadczeni. Jest tak wiele do nauczenia się.”
Checklista dla projektantów UX pracujących z systemami LLM
Projektowanie dla doświadczeń probabilistycznych
- Zastosuj myślenie w kategoriach „fuzzy experiences” zamiast deterministycznych ścieżek
- Przygotuj się na nieograniczoną liczbę potencjalnych interakcji
- Uwzględnij, że nie masz pełnej kontroli nad wynikiem działania modelu
- Zapewnij mechanizmy informacji zwrotnej (thumbs up/down, komentarze)
- Projektuj systemowe prompty, które kierują model w pożądanych kierunkach
Badania użytkowników dla AI
- Wprowadź regularny cykl badań i iteracji produktu
- Prowadź jakościowe sesje z użytkownikami obserwując ich interakcje
- Analizuj transkrypty rozmów pod kątem intencji i problemów
- Identyfikuj wzorce w krótkich vs. długich interakcjach
- Śledź i klasyfikuj typy zapytań, które sprawiają trudności modelowi
Współpraca z zespołem technicznym
- Zaangażuj się w proces trenowania modeli, nie tylko projektowanie interfejsu
- Pracuj z content designerami nad tworzeniem efektywnych promptów systemowych
- Angażuj się w tworzenie ewaluacji skuteczności modelu
- Stosuj narzędzia jak Value Matrix do oceny ryzyka i korzyści różnych scenariuszy
- Współpracuj z inżynierami nad ograniczaniem hallucynacji modelu
Skład zespołu projektowego
- Zapewnij różnorodność płciową w zespole
- Włącz badaczy UX do zespołu AI
- Zaangażuj content designerów i UX writerów
- Zadbaj o różnorodność doświadczeń i perspektyw
- Wykorzystaj doświadczenie osób znających projektowanie konwersacyjne
Stan obecny UX dla LLM – od chatbotów do prawdziwej innowacji
Simon Landry z Thomson Reuters zauważa kluczowy problem: „Kiedy ChatGPT pojawił się po raz pierwszy, wydaje się, że cała branża pomyliła interfejs użytkownika z technologią. Stwierdziliśmy, że jeśli masz LLM, potrzebujesz interfejsu czatu, podczas gdy w rzeczywistości był to po prostu skuteczny trick, który przyciągnął naszą uwagę.”
Eksperci wskazują kilka już istniejących przykładów udanych implementacji:
- GitHub Copilot – wskazywany jako szczególnie wartościowe narzędzie do pisania kodu
- Grammarly – doceniane za interfejs oparty na przyciskach, a nie chacie
- Sumo Copilot – przekształcający zapytania w języku naturalnym na kwerendy SumaQL
- Zapier – wymieniony przez Briana O’Neilla jako „trochę pomocny tu i tam”
- Narzędzia do pisania kodu – przydatne, choć wciąż czasochłonne
Greg Ludelman zwraca uwagę na problem „shitification of UX” – dodawanie funkcji AI do produktów często pogarsza doświadczenie użytkownika zamiast je ulepszać. Jako przykład podaje wielokrotne poprawki w Grammarly, które stają się irytujące dla użytkowników.
Fuzzy vs. Crisp experiences – nowy paradygmat projektowania
Kluczowym wyzwaniem, jak podkreśla Simon Landry, jest projektowanie dla „fuzzy experiences” (doświadczeń rozmytych):
„AI w doświadczeniach użytkownika jest rozmyta, ponieważ może pójść w wiele kierunków, a jako właściciele produktów czy projektanci nie możemy tego kontrolować. Nie ma szczęśliwej ścieżki, ponieważ nie kontrolujesz modelu ani użytkownika. To rozmyte doświadczenie, podczas gdy nasze tradycyjne SaaS, gdzie mamy po prostu interfejs użytkownika, to znacznie bardziej precyzyjne doświadczenia.”
Porównanie podejść:
| Tradycyjne (Crisp) Experience | AI (Fuzzy) Experience |
|---|---|
| Deterministyczne | Probabilistyczne |
| Ograniczona liczba ścieżek | Nieograniczona liczba możliwości |
| Projektanci kontrolują wszystkie kroki | Brak pełnej kontroli nad wynikiem |
| Testowanie możliwe dla wszystkich scenariuszy | Niemożliwe przetestowanie wszystkich przypadków |
| Błędy są powtarzalne i możliwe do naprawienia | Błędy mogą być jednorazowe i trudne do odtworzenia |
Jak projektować w takim środowisku? Simon stawia pytanie: „Jak projektować doświadczenie, którego nie możesz przewidzieć i jak upewnić się, że to dobre doświadczenie produktu, aby nasi klienci nie czuli się zagubieni?”
AI jako „Generator Bzdur” – wyzwanie dla projektantów
Greg Ludelman przytacza celne spostrzeżenie Chrisa Nossela: „AI jest generatorem bzdur i absolutnie to kocham. To dokładnie to, czym jest. Możesz kazać mu zrobić cokolwiek. Połączy kropki, będzie argumentować za, będzie argumentować przeciw, stworzy dowody wspierające i dowody obalające.”
To stawia przed projektantami ogromne wyzwanie:
- Jak projektować dla systemu, który może tworzyć spójne, ale całkowicie nieprawdziwe odpowiedzi?
- Jak minimalizować ryzyko reputacyjne związane z hallucynacjami?
- Jak pomagać użytkownikom ocenić wiarygodność informacji?
Greg wskazuje na realne ryzyko biznesowe: „Wprowadzenie LLM do produktu oznacza, że istnieje niezerowa szansa, że kompletnie zwariuje i twój użytkownik będzie miał doświadczenie, przez które przestanie być twoim klientem. To jest ogromne ryzyko reputacyjne.”
Greg proponuje nawet gamifikację wykrywania hallucynacji: „Znajdźcie nam, kiedy maszyna halucynowała i wyślijcie nam to. Najlepsza hallucynacja dostaje gadżety.”
AI First – nowe podejście do projektowania
Greg Ludelman proponuje podejście „AI First”, podobne do „Mobile First” z poprzedniej rewolucji technologicznej:
„AI to taka transformacyjna technologia i myślę, że musimy zacząć myśleć 'AI First’, bardzo podobnie jak myśleliśmy 'Mobile First’. To naprawdę zrewolucjonizowało nasze podejście do projektowania UI.”
Ludelman podaje fascynujący przykład hiperpersonalizacji doświadczenia e-commerce: „Możesz przeanalizować poprzednie zakupy, stwierdzić, że interesujesz się wędkarstwem, ustalić, czego ci brakuje. Przeprowadziłem mały eksperyment i absolutnie mógł ustalić, że mam dwa kołowrotki i tylko jedną wędkę w ciągu ostatniego roku. Poprawnie zarekomendował lekką wędkę, którą faktycznie rozważałem, a następnie przekazał to do Midjourney, które stworzyło tło pokazujące mnie łowiącego ryby z całym tym sprzętem.”
Greg porównuje też doświadczenia z AI do bycia Ironmanem: „To jest jak Ironman. Każdy może być Ironmanem i mieć własnego Jarvisa i dokonywać nadludzkich wyczynów.”
Brian O’Neill jednak kwestionuje to podejście, sugerując, że kluczowe jest skupienie na korzyściach:
„Musi być najpierw korzyść. Jaka jest korzyść, którą dasz klientowi i czy AI, czy nie, czy jakieś mieszane doświadczenie, które myślę, że zwykle produkty warte zapłacenia to będą mieszane doświadczenia deterministycznego oprogramowania ulepszonego sztuczną inteligencją we właściwym czasie, aby zapewnić korzyść, która jest o wiele lepsza niż cokolwiek, co oferuje status quo.”
Shared Agency – projektowanie dla współdzielonej kontroli
Pasparez z Google wprowadza kluczową koncepcję:
„Poza myśleniem o LLM jako generatorze wyników, musimy też myśleć o AI jako podejmującej decyzje za nas. Jak my jako projektanci możemy projektować dla tej współdzielonej sprawczości, gdzie zarówno my jako ludzie i AI współistnieją, używając dowolnego rodzaju interfejsu czy produktu?”
Ta współdzielona sprawczość wymaga całkowicie nowych paradygmatów projektowania:
- Kto podejmuje jakie decyzje?
- Jak przekazywana jest kontrola?
- Jak użytkownik rozumie, kiedy może zaufać systemowi?
- Jak system komunikuje swoją pewność/niepewność?
Service Design jako nowy sposób myślenia o AI
Simon Landry proponuje przyjęcie szerszej perspektywy service design:
„Musimy przyjąć bardziej perspektywę service design i zastanowić się: czym jest rzecz, którą ktoś chce zrobić, nie na mojej stronie internetowej, ale w swoim życiu? Co sprowadza ich do mojej własności, czymkolwiek ona jest? Jak mogę wyobrazić sobie inny świat, który wykorzystuje te możliwości, o których mówiliśmy, aby pomóc im wykonać swoją pracę?”
Zamiast skupiać się na dodawaniu AI do istniejących produktów, projektanci powinni zastanowić się, jak fundamentalnie zmienić sposób, w jaki ludzie realizują swoje cele – podobnie jak Pokemon Go zmieniło sposób, w jaki ludzie wchodzą w interakcje ze sobą poprzez technologię mobilną.
Wyzwania badań użytkowników dla systemów probabilistycznych
Simon Landry wskazuje na fundamentalne wyzwanie badawcze:
„Kiedy masz wejście w języku naturalnym, przestrzeń możliwych wypowiedzi jest nieograniczona. Niemożliwe jest wiedzieć, co ktoś powie, znając to i wiedząc, że różni ludzie wyrażają się inaczej i mają różne oczekiwania wobec produktu, oraz że nie wiesz, jak model przetworzy dane wejściowe użytkownika. Jeśli wynik modelu jest doświadczeniem użytkownika, to nie kontrolujesz doświadczenia użytkownika.”
To stawia przed badaczami UX ogromne wyzwanie: „Masz 50 000 interakcji z użytkownikami miesięcznie. Krótka interakcja może oznaczać, że ktoś naprawdę osiągnął swój cel i dostał dokładnie to, czego chciał za pierwszym razem, albo że nie mógł zrozumieć, jak używać produktu, dostał bezwartościowy wynik i nigdy więcej nie użyje twojego produktu.”
Jak radzić sobie z tym wyzwaniem:
- Analiza transkryptów – Brian O’Neill sugeruje: „Możesz wiele zbadać, analizując transkrypty z przeszłości. To miejsce, w którym badania UX mogą dostarczyć dużej wartości, klasyfikując, co ludzie faktycznie próbują zrobić z tym produktem.”
- Sesje jakościowe – Greg Ludelman podkreśla: „Potrzebny jest ogromny wysiłek badawczy. Chodzi o jakościowe badania, sesje z klientami, obserwowanie ich podczas korzystania z produktu.”
- Analiza wzorców – „Ktoś, kto wpisuje ten typ pytania, zawsze ma krótką interakcję, przyjrzyjmy się temu. Ktoś, kto wpisuje inny typ pytania, zawsze ma długą interakcję, albo większość z nich jest długa? Ustalmy to.”
Rola UX w trenowaniu modeli, nie tylko projektowaniu interfejsów
Pasparez z Google wskazuje na nowy obszar, w którym projektanci UX muszą się zaangażować:
„Jako projektanci UX musimy zaangażować się w trenowanie modelu. To coś, czego jako społeczność nie wszyscy jeszcze w pełni rozumieją. To są surowe materiały, te modele, które można kształtować, a żeby to zrobić, musisz współpracować z inżynierami.”
Kontynuuje, podkreślając rolę różnych specjalistów UX: „Praktyka UX obejmuje również badaczy i specjalistów od treści. Teraz błyszczą w tej przestrzeni, ponieważ widzimy, że w trenowaniu modeli, projektanci UX i specjaliści od treści są fantastyczni w pisaniu instrukcji i promptów systemowych.”
Vision Prototyping – nowa rola projektantów
Greg Ludelman widzi w AI szansę na powrót do kreatywnego projektowania:
„Jedną z kluczowych wartości, które wnosimy jako projektanci, jest zdolność do tworzenia prototypów wizji. Jako projektanci staliśmy się bardzo zadowoleni z siebie w ciągu ostatnich lat. Zawsze było: to ten wzorzec lub tamten wzorzec. To nowa szansa dla nas, aby błyszczeć, aby naprawdę projektować.”
Ludelman kontynuuje: „Jako projektanci musimy odkryć na nowo nasze DNA powrotu do prawdziwego projektowania, co oznacza wyobrażanie sobie czegoś, co jest technologicznie dostępne, ale jeszcze nie zostało zobaczone.”
Wartość różnorodności w zespołach projektowych dla AI
Greg Ludelman mocno podkreśla znaczenie różnorodności w zespołach projektujących dla AI:
„Myślę, że posiadanie różnorodności w zespole projektowym, w tym różnorodności płciowej i doświadczenia, jest kluczowe, szczególnie włączenie kobiet. Widzieliśmy już straszne wyniki tego, gdzie LLM tworzy okropne e-maile i wprowadzenia.”
Jako przykład podaje post Millie Barker na LinkedIn, który zdobył około miliona wyświetleń, pokazujący „szalone halucynacje, naprawdę okropny typ interakcji, które AI potrafi stworzyć. Wszystko, co jest mizoginistyczne… To najgorsze z najgorszych”.
Jego najważniejsze porady:
- Zatrudnij badaczy UX
- Upewnij się, że twój zespół jest różnorodny
Ogólna dostępność jako początek, nie koniec pracy
Greg Ludelman wyjaśnia zmianę w podejściu do wydawania produktów:
„Kiedy wprowadzamy produkt do ogólnej dostępności (General Availability), to oznacza, że możemy teraz zorganizować pierwszy krok w interakcji. Ogólna dostępność dosłownie oznacza, że wystrzelono pistolet startowy. Wprowadzenie produktu w tych dniach dosłownie oznacza, że wystrzelono pistolet startowy. Zaangażuj badania, aby ustalić następny krok.”
Pasparez dodaje: „To będzie niekończący się cykl. Nie sądzę, że to praca, która kiedykolwiek zostanie zakończona, ale będzie bardziej kontrolowana.”
Narzędzia i techniki dla zespołów UX/AI
- Value Matrix – Greg Ludelman: „Ja i Daria napisaliśmy artykuł o Value Matrix. To dokładnie rodzaj ćwiczenia, które pomoże ci zrobić ten rodzaj wyceny. Pomysł polega na tym, że usiadłbyś ze swoimi naukowcami danych i rozpoczął rozmowę: jaki jest wynik złego rezultatu? Jaki jest koszt fałszywie pozytywnego lub fałszywie negatywnego wyniku?”
- Analiza transkryptów – klasyfikacja zapytań i intencji użytkowników
- Service Design dla AI – Simon Landry proponuje szersze spojrzenie: „Musimy przyjąć perspektywę service design i zastanowić się: czym jest rzecz, którą ktoś chce zrobić, nie na mojej stronie internetowej, ale w swoim życiu?”
Praktyczne podejście do wdrażania AI w produktach
Panel dzieli się kilkoma praktycznymi wskazówkami dla firm wdrażających AI:
- Zacznij od zdefiniowania realnych problemów użytkowników, a nie od technologii
- Wprowadź regularny cykl badań i iteracji, traktując wydanie produktu jako „strzał startowy”, a nie koniec pracy
- Zaangażuj zespół UX we współpracę z inżynierami na etapie trenowania modeli
- Zbieraj i analizuj dane o interakcjach, szukając wzorców sukcesu i porażki
- Zadbaj o różnorodność w zespole projektowym, by uniknąć stronniczości
- Rozważ wykorzystanie wiedzy z projektowania konwersacyjnego, zamiast zaczynać od zera
- Używaj podejścia Value Matrix do oceny kosztów i korzyści różnych scenariuszy AI
Materiały do pogłębienia tematu
Podczas panelu wspomniano kilka cennych źródeł wiedzy:
- Książka „UX for AI” Grega Ludelmana (planowana premiera w kwietniu)
- Artykuł o Value Matrix na stronie ux4ai.com (autorstwa Grega Ludelmana i Darii)
- Artykuły Paspareza na Medium o zmieniającej się praktyce UX
- Posty LinkedIn Simona Landry’ego (pod nazwiskiem Simon Landry, PhD)
- Post Millie Barker na LinkedIn o nieudanych implementacjach AI
- AI Incident Database – miejsce, gdzie dokumentowane są problematyczne wdrożenia AI
Ten artykuł jest częścią serii notatek z wartościowych webinarów. Na podstawie podcastu „Experiencing Data” z Brianem T. O’Neillem i panelem ekspertów UX.