24/09/2026
VentureBeat opublikował wyniki badania przeprowadzonego wśród 108 osób. 49% respondentów deklarowało, że agent AI lub funkcja oparta na LLM przeszła wewnętrzne testy, a później spowodowała problem widoczny dla klientów. U 24% zdarzyło się to więcej niż raz.
Dla developerów i QA to ciekawy sygnał. W klasycznych testach dla określonych danych wejściowych możemy przewidzieć oczekiwany rezultat. W przypadku LLM ten sam prompt może prowadzić do różnych odpowiedzi, a użytkownicy szybko dostarczają scenariuszy, których nie było w testach.
Środowisko testowe daje kontrolowane dane. Produkcja przynosi nietypowe pytania, zmieniający się kontekst i edge case’y. Dlatego coraz ważniejsze staje się sprawdzanie jakości również po wdrożeniu.
Czy klasyczne QA wystarcza do testowania systemów opartych na AI? Jak wygląda to w Waszych zespołach?
Źródło: https://venturebeat.com/data/85-of-companies-burned-by-an-ai-mistake-are-racing-to-cut-the-humans-who-might-catch-the-next-one