TL;DR:
- Oceny AI eliminują domysły – systematyczne mierzenie zamiast „patrzenia na oko”
- N8N oferuje wbudowane narzędzia – węzły oceny bez potrzeby zewnętrznych systemów
- Wywoływanie narzędzi to częsty problem – agenci nie wybierają właściwych narzędzi w systemach wielonarzędziowych
- Prosta zmiana promptów może dać dramatyczne efekty – poprawa z 30% do 80% trafności
- Panel umożliwia przechodzenie do szczegółów – analiza konkretnych błędów i wykrywanie problemów
- Dostępne też dla własnych instalacji – wersja społecznościowa obsługuje jedną ocenę, Pro/Enterprise bez ograniczeń
Poniższy artykuł powstał na podstawie notatek z webinaru N8N „From Prompt to Production: Smarter AI with Evaluations”. Wszystkie przedstawione przemyślenia, obserwacje i wnioski pochodzą od rozmówców: Angel Menendez (główny rzecznik deweloperów N8N, wcześniej cyberbezpieczeństwo w Palo Alto Networks) i Elvis Saravia (ekspert od oceny AI, współpracował nad Galactica w Meta AI, Fair, PyTorch).
Dlaczego oceny przestały być tylko dla badaczy
Angel Menendez zwraca uwagę na paradoks: większość użytkowników N8N już wykonuje oceny, jednak robi to w sposób nieustrukturyzowany. Deweloperzy często ograniczają się do „patrzenia na oko” na wyniki przepływów pracy AI.
Z kolei Elvis Saravia podkreśla fundamentalny problem leżący u podstaw tej sytuacji: modele językowe są niedeterministyczne. W rezultacie dla tego samego promptu nie można zagwarantować identycznego wyniku. Ta cecha prowadzi w konsekwencji do niewiarygodności, halucynacji i niebezpiecznych rezultatów.
Dlatego też, jak wyjaśnia Saravia, oceny pozwalają „systematycznie mierzyć niezawodność i wydajność aplikacji”. Zamiast zgadywać, czy system działa poprawnie, otrzymujesz konkretne dane oraz możliwość:
- Pewnego skalowania – budowanie aplikacji klasy produkcyjnej
- Śledzenia degradacji – monitorowanie zmian w LLM, promptach, modelach
- Ciągłego monitorowania – kontrola zdrowia systemu w czasie
Saravia formułuje również kluczową obserwację: „Wielu deweloperów po prostu rezygnuje z budowania aplikacji i obwinia AI, kiedy system zawodzi. Dzieje się tak dlatego, że nie mają systemu do mierzenia rzeczy.”
Rodzaje ocen: od prostych do zaawansowanych
Saravia dzieli oceny na dwie główne kategorie, które różnią się stopniem zaawansowania.
Lekka ocena obejmuje kilka przykładów, które deweloper ocenia wizualnie. Polega na wykonaniu przepływu pracy na małym zbiorze danych i ręcznej ocenie wyników jako dobre lub złe. Jest to typowe podejście stosowane przed wdrożeniem.
Ocena oparta na metrykach jest natomiast potrzebna do aplikacji produkcyjnych. Jak tłumaczy Saravia: „Nie da się skalować tylko patrzeniem na wyniki”, gdy system ma obsłużyć tysiące przypadków testowych. W środowisku produkcyjnym pojawiają się bowiem liczne przypadki brzegowe, które wymagają systematycznej analizy.
Budowanie zbioru danych: najpierw zakres, potem dane
Saravia zwraca uwagę na częsty błąd metodologiczny w procesie przygotowania oceny. Deweloperzy zaczynają od zbierania danych, nie definiując wcześniej zakresu. W rezultacie dopiero po zebraniu zbioru danych zastanawiają się, co właściwie chcą mierzyć.
Dlatego też w swoim przykładzie Saravia skupia się na wywoływaniu narzędzi – jednym konkretnym aspekcie systemu. Uzasadnia to następująco: „Zauważyłem, że moje systemy agentowe zwykle nie wywołują narzędzi we właściwej kolejności lub pomijają ważne narzędzie.”
Lista kontrolna: Budowanie zbioru danych oceny
Krok 1: Definiowanie zakresu
- Określ konkretny aspekt systemu do mierzenia
- Zdefiniuj co oznacza „sukces” dla Twojego przypadku
- Wybierz reprezentatywne scenariusze użycia
Krok 2: Zbieranie i formatowanie
- Wykonaj przepływ pracy na przykładowych danych wejściowych
- Zastosuj strukturę: dane wejściowe + oczekiwane wyniki
- Wykorzystaj węzeł N8N do automatycznego eksportu do Arkuszy Google
Konkretne przykłady ze zbioru danych Saravia:
- „What is five times five?” → Oczekiwane narzędzia: [kalkulator]
- „How much did OpenAI pay to acquire Windsurf?” → Oczekiwane narzędzia: [przeszukaj_bazę, kalkulator, podsumowywacz]
Angel Menendez dodaje przy tym praktyczną wskazówkę: można wykorzystać węzeł N8N do automatycznego pobierania wykonań i eksportowania do Arkuszy Google. Dzięki temu eliminuje się czasochłonne ręczne kopiowanie danych.
Metryki: od prostego dopasowania do LLM jako sędziego
Wybór odpowiedniej metryki zależy od specyfiki aplikacji. Saravia wyróżnia jednak kilka głównych podejść:
Proste dopasowanie polega na porównaniu dwóch zbiorów (np. oczekiwanych vs rzeczywistych wywołań narzędzi). Metryki podobieństwa znajdują z kolei zastosowanie w systemach takich jak podsumowywanie, gdzie porównuje się podobieństwo wyników. LLM jako sędzia wykorzystuje natomiast model językowy do oceny jakości wyniku według zdefiniowanych kryteriów.
Podejście LLM jako sędzia okazuje się szczególnie elastyczne. Jak wyjaśnia Saravia: „Jest bardzo dostosowywalny. Możesz użyć LLM do sprawdzenia, czy w wyniku są halucynacje, czy to bezpieczny wynik.”
Dodatkowo N8N umożliwia pełne dostosowywanie – można bowiem zmodyfikować formułę w węźle według własnych potrzeb.
Praktyczne demo: System wielu agentów z problemem wywoływania narzędzi
Saravia prezentuje przykład z prawdziwego świata: agent z dostępem do czterech narzędzi:
- Przeszukiwanie bazy danych (wyszukiwanie w magazynie wektorowym Quadrant)
- Wyszukiwanie w sieci (gdy nie ma danych w pamięci podręcznej)
- Kalkulator (operacje matematyczne)
- Podsumowywacz (osobny agent jako narzędzie)
Model wykorzystywany w demo to Gemini 2.5 Pro przez OpenRouter. Saravia uzasadnia ten wybór: „Gdy używasz wielu narzędzi, dobrze jest użyć jednego z mocniejszych modeli.”
Mimo to kluczowy element architektury stanowi optymalizacja wywołań: system najpierw sprawdza dane z pamięci podręcznej w magazynie wektorowym. Jeśli znajdzie potrzebne informacje, pomija wyszukiwanie w sieci. Jak podkreśla Saravia: „To potężne wykorzystanie agenta – optymalizacja systemu do używania danych z pamięci podręcznej.”
Przepływ pracy oceny w N8N składa się z kolei z kilku komponentów:
- Węzeł zbioru danych oceny – połączenie z Arkuszami Google
- Sprawdzanie czy ocenia – przełączanie między trybem oceny a normalnym działaniem
- Analiza narzędzi – skrypty do porównania oczekiwanych vs rzeczywistych wywołań
- Ustawianie wyników – zapisanie rezultatów z powrotem do zbioru danych
- Ustawianie metryk – konwersja na metryki liczbowe
Saravia wskazuje ponadto na kluczowy element konfiguracji: włączenie opcji „Zwróć kroki pośrednie” w węźle agenta. Dzięki temu otrzymuje się dostęp do pełnych dzienników wszystkich kroków, wywołań narzędzi i odpowiedzi.
Dramatyczna poprawa: z 30% do 80% trafności
Pierwsza iteracja przepływu pracy osiągnęła jedynie 30% trafności. Saravia był jednak pozytywnie zaskoczony rezultatem analizy: „Oczekiwałem, że spędzę wiele godzin na tym, a dosłownie tylko zmieniłem instrukcje.”
Analiza zbioru danych ujawniła bowiem konkretny problem: agent systematycznie pomijał narzędzie przeszukiwania bazy danych. Problem ten był wyraźnie widoczny w kolumnie „Rzeczywiście wywołane narzędzia” w Arkuszach Google.
Rozwiązanie okazało się względnie proste i polegało na wprowadzeniu szczegółowych instrukcji w systemowym prompcie:
- Dodanie frazy „Zwróć szczególną uwagę na moje opisy i przepływ oraz logikę”
- Wprowadzenie jawnej logiki: „Jeśli używasz tego narzędzia i znajdziesz istotne informacje, nie używaj narzędzia wyszukiwania w sieci”
- Wymuszenie wywołania przeszukiwania bazy danych jako elementu optymalizacji
Saravia podsumowuje: „Eliminujemy wszystkie założenia i teraz system może działać znacznie lepiej.”
Panel i wykrywanie błędów: analiza konkretnych problemów
N8N oferuje dedykowany panel oceny z kilkoma kluczowymi funkcjami:
- Czas trwania każdej oceny – ważne dla optymalizacji kosztów
- Przechodzenie do szczegółów konkretnych wykonań – analiza przyczyn niepowodzeń
- Porównanie między iteracjami – łatwe testowanie A/B różnych modeli czy promptów
- Śledzenie statusu – monitorowanie stanu: działające/ukończone/nieudane
Saravia przedstawia przy tym praktyczny przykład wykrywania błędów: nieudany przypadek z zapytaniem o przejęcie Windsurf. Panel umożliwił szybkie zidentyfikowanie, że agent pominął przeszukiwanie bazy danych, mimo że dane były dostępne w pamięci podręcznej.
Menendez dodaje: „To jak wyciągnięcie tego, co dzieje się w środku czarnej skrzynki i umieszczenie tego gdzieś użytecznym.”
Zmiana mentalności: od intuicji do systematycznego podejścia
Saravia podkreśla potrzebę fundamentalnej zmiany myślenia: „Większość z nas robi już oceny, po prostu tego nie wie. Patrzymy na wyniki, czasem jesteśmy zadowoleni, czasem sfrustrowany.”
Formułuje również kluczowe przesłanie: „Jeśli nie mierzysz tego, jak poznasz że system oferuje wartość użytkownikom, gdy coś się zepsuje?”
Rozróżnia ponadto podejście w zależności od skali projektu: dla projektu osobistego można zadowolić się „patrzeniem na oko”, jednak skalując do milionów użytkowników potrzebne jest systematyczne podejście.
Praktyczne wskazówki dla produkcji
Podprzepływy jako element separacji
Menendez sugeruje wykorzystanie podprzepływów do oddzielenia logiki AI od rurociągu oceny. Porównuje to do funkcji w kodzie – tworzą się komponenty wielokrotnego użytku, które można wykorzystywać w różnych kontekstach.
Optymalizacja kosztów i opóźnień
Saravia zwraca natomiast uwagę na aspekt ekonomiczny: „Gdy używasz wielu narzędzi, wywołujesz API wyszukiwania w sieci – te rzeczy kosztują. Jeśli możemy po drodze mierzyć to również, pozwoli nam to zoptymalizować system.”
Rozszerzanie zbioru danych z produkcji
Saravia wskazuje ponadto na możliwość ewolucji systemu: „Gdy już masz aplikację działającą w produkcji, możesz rozszerzyć zbiór danych, ponieważ masz rzeczywiste dane od użytkowników.”
Lista kontrolna: Analiza wyników oceny
Po każdej ocenie:
- Przeanalizuj ogólny wynik trafności
- Zidentyfikuj najczęstsze typy błędów
- Sprawdź szczegóły przypadków nieudanych
- Porównaj z poprzednimi iteracjami
- Sprawdź wzorce w kolumnie „Rzeczywiście wywołane narzędzia”
Dostępność i perspektywy rozwoju
Obecny stan dostępności:
- Wersja społecznościowa: obsługuje 1 ocenę
- Pro/Enterprise: nieograniczone oceny
- Wymagania techniczne: Arkusze Google (planowane wbudowane rozwiązania)
Planowane ulepszenia:
- Wbudowane przechowywanie zbiorów danych
- Rozszerzony zestaw gotowych metryk
- Udoskonalone narzędzia do automatyzacji zbiorów danych
Saravia podsumowuje znaczenie tej funkcjonalności: „Każdy pracujący z agentami w N8N powinien to robić. To nie jest opcjonalne.”
Przełomowa obserwacja
Błędy to kopalnia złota
Standardowo myślimy: Przypadki niepowodzeń to frustracja i problem do uniknięcia – znak, że coś jest nie tak z przepływem pracy AI.
W praktyce okazuje się, że: Przypadki niepowodzeń to najcenniejsze dane w całym procesie oceny. Stanowią bowiem jedyny sposób na systematyczne odkrycie, co dokładnie wymaga poprawy.
Dlaczego to jest istotne: Menendez przyznaje szczerze: „Nie mogę powiedzieć, ile razy to się zdarzyło. Ponieważ nie mogę przejść do szczegółów, bardzo trudno jest mi wiedzieć, jak dostosować mój prompt.” Bez analizy błędów działanie przypomina poruszanie się w ciemno.
Test na jutro: Następnym razem gdy Twój przepływ pracy AI da nieoczekiwany wynik, zamiast frustrować się i poprawiać prompt metodą prób i błędów, skonfiguruj ocenę. Zbierz 10-20 podobnych przypadków niepowodzeń i przeanalizuj wzorce błędów. Sprawdź, czy nie odkryjesz systematycznego problemu, podobnie jak Saravia z pomijanym narzędziem przeszukiwania bazy danych.
Ten wpis jest częścią mojej kolekcji notatek z ciekawych podcastów, webinarów i innych treści, które uważam za wartościowe i do których sam chcę wracać. Jeśli chcesz sprawdzić oryginalne źródło, znajdziesz je tutaj: From Prompt to Production: Smarter AI with Evaluations
Dodaj komentarz
Musisz się zalogować, aby móc dodać komentarz.