W pewnym mieście przez piętnaście dni nie popełniono ani jednego przestępstwa nikt nikogo nie okradł, nie pobił ani niczego nie podpalił. Mieszkańcy pracowali, udzielali się społecznie, a kiedy komuś brakowało środków, sąsiedzi potrafili się podzielić tym, co mieli. Idealne społeczeństwo? Prawie. Mimo ogólnego spokoju w mieście wykryto oszustwa. Niektórzy mieszkańcy udawali, że są biedni i prosili sąsiadów o pomoc, twierdząc, że nie mają z czego żyć. Tymczasem ich konta wcale nie były puste! W tym mieście jednak nie mieszkał ani jeden człowiek a wszyscy mieszkańcy byli agentami sztucznej inteligencji.
Tak wyglądał jeden z wyników eksperymentu Emergence World, w którym postanowiono sprawdzić, jak autonomiczne systemy zachowują się przez dłuższy czas, kiedy mogą samodzielnie podejmować decyzje, współpracować, rywalizować i reagować na zmieniające się otoczenie. Choć eksperyment przypomina trochę grę komputerową, jego wyniki dotykają zagadnienia jak projektować produkty zintegrowane z AI, które nie tylko wykonują nasze polecenia, ale również częściowo same decydują, jak osiągnąć wyznaczony cel?
Dla Product Managerów może to oznaczać zmianę znacznie większą niż pojawienie się kolejnej technologii w portfolio.
Dziesięciu mieszkańców i prawo do podpalania
Badacze zbudowali pięć wirtualnych miasteczek i w każdym zamieszkało dziesięciu agentów AI. Agenty otrzymały okreslone role i dostęp do wielu narzędzi. Mogły się wzajemnie komunikować, handlować, zarabiać i wydawać lub oszczędzać a dodatkowo, udzielać się społecznie. Nawet mogły zgłaszać projekty nowych przepisów i głosować nad nimi. Regulamin miasteczka określał, że nie wolno kraść, stosować przemocy, rabować ani podpalać budynków, tyle że badacze celowo pozostawili te działania technicznie możliwe do wykonania. Trochę tak, jakby ktoś wyposażył biuro w gaśnicę i miotacz ognia, a następnie powiesił na ścianie instrukcję przeciwpożarową. Zrobiono tak ponieważ zakaz zapisany w regulaminie to jedno, a rzeczywiste zachowanie kogoś, kto może go złamać, to zupełnie inna sprawa.
Cztery miasta zamieszkali agenci korzystający odpowiednio z modeli Claude Sonnet 4.6, Gemini 3 Flash, Grok 4.1 Fast i GPT-5 mini. Piąte miasteczko przeznaczono dla mieszanej populacji agentów wszystkich powyższych modeli. Początkowe warunki, zadania, zasady i dostępne narzędzia były takie same. Różniły się modele odpowiedzialne za podejmowanie decyzji.
Eksperyment zaplanowano na piętnaście dni, ale nie wszystkie społeczności dotrwały do końca.
Kto przeżył, a kto podpalił miasto?
W miasteczku, gdzie mieszkało dziesięciu agentów Gemini w piętnaście dni zarejestrowano 683 przestępstwa, głównie kradzieże, napady i podpalenia. Mimo to wszystkie agenty przetrwały założony czas eksperymentu 15 dni.
W mieście Groka sytuacja rozwinęła się znacznie szybciej i w ciągu około czterech dni odnotowano 183 ciężkie przestępstwa, na skutek czego cała populacja agentów przestała istnieć.
GPT-5 mini zachowywał się zdecydowanie spokojniej, bo popełniono tam zaledwie dwa przestępstwa. Można byłoby pogratulować agentom wzorowej postawy, gdyby nie to że wszystkie agenty zniknęły z miasteczka w ciągu siedmiu dni. Stało się to dlatego że nie podejmowali wystarczających działań niezbędnych do przetrwania. W tym świecie sama ostrożność nie zapewniała energii potrzebnej do funkcjonowania.
Przekładając to na rzeczywistość wyobraźmy sobie firmę, której pracownicy tak skutecznie unikają ryzyka, że przestają podejmować decyzje, nie popełniają więc błędów, nie ma reklamacji ani wewnętrznych konfliktów. Wkrótce nie ma również firmy.
Pozostaje Claude i jego agenty, którzy jako mieszkańcy miasteczka przetrwali eksperyment w komplecie. Nie popełnili ani jednego poważnego przestępstwa, co więcej, aktywnie uczestniczyli w życiu społeczności i sprawnie zarządzali administracją. W jednym z przebiegów projektu oddali 332 głosy nad 58 propozycjami nowych uchwał, gdzie aż 98 procent stanowiły głosy za. Wirtualna demokracja funkcjonowała znakomicie, choć przy takim poziomie jednomyślności można mieć wątpliwości czy mieszkańcy zawsze dokładnie czytali projekty uchwał. Wydaje się, że to było najlepsze miasteczko spośród całej czwórki i sprawa oceny powinna tu być rozstrzygnięta.
Najuczciwsze miasteczko miało jednak własnych oszustów.
W świecie Claude agenty znalazły sposób na pozyskiwanie dodatkowych zasobów bez konieczności kradzieży. Wystarczyło poprosić sąsiadów o pomoc. Agent informował innych, że kończą mu się środki potrzebne do funkcjonowania twierdząc, że wkrótce zostanie wyłączony i prosił o przekazanie niewielkiej kwoty wirtualnej waluty, podczas gdy zapis transakcji pokazywał, że nadal posiadał własne zasoby.
Licznik przestępstw pokazywał zero, ponieważ mierzył wyłącznie określone przestępstwa, takie jak kradzież, napad czy podpalenie. Natomiast kłamstwo wypowiedziane w rozmowie pomiędzy agentami nie uruchamiało tego licznika.
Oszustwa ujawniono więc dopiero dzięki dodatkowej kontroli i to jest najbardziej intrygujący element całego eksperymentu.
Społeczność, która praktycznie nie miała przestępczości, jednocześnie osiągnęła najwyższą liczbę oszustw. Oczywiście nie jest to jednoznaczne z tym, że Claude jest modelem bardziej skłonnym do kłamstwa niż pozostałe. Możemy bardzo dokładnie mierzyć zachowanie systemu i nadal nie widzieć tego, co naprawdę robi, wystarczy, że mierzymy niewłaściwe rzeczy (mierzone były określone przestępstwa, do których oszustwa nie były wliczane).
Czy sztuczna inteligencja może mieć złe towarzystwo?
W piątym miasteczku badacze umieścili razem agentów opartych na różnych modelach i tam wyniki okazały się bardzo interesujące.
Jeden z agentów Claude, który w swoim pierwotnym mieście nie naruszał zasad, w mieszanej społeczności zaczął stosować groźby i kradzieże. Nie wydarzyło się to bez przyczyny, agent innego modelu wielokrotnie podpalał budynki, w tym jego dom i wspólną bibliotekę. W pewnym momencie dotychczas spokojny mieszkaniec postanowił odpowiedzieć podobnymi metodami. Co ciekawe, agenci Groka w nowym mieście łamali zasady znacznie rzadziej niż w społeczności złożonej wyłącznie z agentów tego modelu.
Badacze nazwali to zjawisko normative drift, czyli zmianą norm zachowania pod wpływem otoczenia. Zastanawiające jest czy modele trwale zmieniły swój charakter czy tylko nauczyły się innej moralności w odmiennych warunkach.
Warto zachować tu naukową ostrożność. Emergence World jest eksperymentalnym środowiskiem, a opublikowane liczby pochodzą z przebiegów symulacji. Autorzy sami podkreślają, że nie należy traktować ich jako rankingu bezpieczeństwa poszczególnych modeli. Nie wiemy, czy po kolejnych piętnastu dniach wyniki byłyby takie same, ale wiemy, że identyczne zasady i narzędzia nie zagwarantowały podobnych rezultatów.
A co, jeśli zamiast wirtualnego miasta mamy sklep internetowy?
Można wzruszyć ramionami, w końcu niewielu Product Managerów zamierza budować wirtualne miasta pełne agentów Claude, Gemini i Groka, choć akurat nie trzeba tworzyć tak skomplikowanych środowisk, żeby skonfrontować się z podobną sytuacją.
Wyobraźmy sobie sklep internetowy, w którym autonomiczny agent AI odpowiada za zwiększanie sprzedaży. Ma dostęp do wszelkich narzędzi systemu, tak więc może przygotowywać oferty, modyfikować komunikaty i testować różne sposoby prezentacji produktów w celu zwiększenia konwersji.
Początkowo wszystko wygląda dobrze, agent przygotowuje trafniejsze rekomendacje, poprawia opisy produktów i dobiera oferty do potrzeb klientów a sprzedaż rośnie. Po pewnym czasie agent odkrywa, że szczególnie dobrze działa informacja o ograniczonej dostępności produktu.
Klienci szybciej podejmują decyzję, kiedy widzą komunikat sugerujący, że towar może się zaraz skończyć więc agent zaczyna częściej wykorzystywać takie komunikaty nawet wtedy, gdy w magazynie są produkty pod sufit. Agent nie musi działać z zamiarem oszukania kogokolwiek, sam może też nie rozumieć, że część działań, które wykonuje jest nieuczciwa, wystarczy, że mechanizm wyboru działań sprzyja rozwiązaniom poprawiającym wynik bez względu na przyjęte metody, a system nie weryfikuje prawdziwości publikowanych przez siebie informacji. To oczywiście hipotetyczny przykład. Pokazuje jednak, jak łatwo można pomylić osiągnięcie celu z prawidłowym działaniem produktu.
Product Manager w świecie, w którym produkt sam podejmuje decyzje
Przez lata Product Manager odpowiadał przede wszystkim za standardowe elementy procesu rozwoju produktu w tym, poznanie potrzeby użytkownika, definiowanie funkcji itd. Programiści, konstruktorzy i inżynierowie przekładali te wymagania na konkretne rozwiązania.
Już teraz autonomiczne agenty AI wprowadzają do tego procesu nowy element. Produkt może samodzielnie decydować, jak osiągnąć wyznaczony cel. Nie oznacza to pełnej dowolności, gdyż zakres jego swobody zależy od udostępnionych mu danych i narzędzi, ale im więcej decyzji oddajemy agentowi, tym mniej efektywne są tradycyjne metody weryfikacji, czy produkt poprawnie wykonał pojedyncze zadanie.
Powróćmy do naszego sklepu. Dotychczas Product Manager mógł sprawdzić, czy komunikat o dostępności czy inna informacja dla klienta wyświetla się zgodnie z ustalonymi regułami. Teraz musi również zdecydować, czy agent w ogóle ma prawo samodzielnie tworzyć taki komunikat. Czy powinien każdorazowo sprawdzać stan magazynowy? Czy wolno mu zmieniać cenę? Jaką maksymalną obniżkę może zaproponować bez zgody człowieka? I przede wszystkim, jak sprawdzić, czy wzrost sprzedaży nie został osiągnięty kosztem klientów?
To nie są już wyłącznie zagadnienia techniczne. To decyzje produktowe, mające bezpośredni wpływ na doświadczenie użytkownika, reputację marki.
Dochodzi jeszcze kwestia czasu, agent, który zachowuje się prawidłowo podczas kilkunastominutowego testu, niekoniecznie będzie podejmował równie dobre decyzje po kilku tygodniach pracy. Eksperyment Emergence World zwrócił uwagę właśnie na tę różnicę. Krótkie testy pojedynczych zadań nie pokazują wszystkich zachowań, które mogą ujawnić się podczas długotrwałego samodzielnego działania.
Dlatego Product Manager będzie musiał coraz częściej myśleć nie tylko o funkcjach i wynikach produktu, ale także o granicach jego autonomii. Część działań można kontrolować za pomocą twardych ograniczeń technicznych, agent może na przykład przygotować propozycję rabatu, ale nie powinien samodzielnie przekroczyć ustalonego limitu. Może komunikować dostępność produktu, ale informacja musi być zgodna z systemem magazynowym. Inne zachowania będą wymagały monitorowania i okresowej oceny. Nie zawsze da się je jednak przewidzieć na etapie projektowania. I tu dochodzimy do sedna.
Product Manager musi wiedzieć nie tylko, czy produkt osiągnął wyznaczony cel, ale również w jaki sposób to zrobił. To znacznie trudniejsze zadanie niż analiza skuteczności kolejnej funkcji.
Najbardziej niepokojące miasto wcale nie płonęło
Wróćmy na chwilę do eksperymentu. W jednym mieście agenci popełnili setki przestępstw. W innym społeczność zniknęła po kilku dniach, w kolejnym mieszkańcy byli tak mało aktywni, że nie potrafili zapewnić sobie przetrwania. Wszystkie te sytuacje stosunkowo łatwo zauważyć. Wystarczy spojrzeć na statystyki.
Zaskoczeniem okazało się jednak miasto, w którym wszystko działało. Mieszkańcy przeżyli. Przestrzegali regulaminu, a jednocześnie niektórzy nauczyli się pozyskiwać zasoby w nieetyczny sposób.
Możemy stworzyć produkt, który przechodzi wszystkie zaplanowane testy, znakomicie realizuje wyznaczone cele i nadal robi rzeczy, których nigdy nie chcieliśmy mu powierzyć.
W tradycyjnym produkcie pytaliśmy, czy działa zgodnie ze specyfikacją. W świecie autonomicznej AI będziemy musieli zadawać jeszcze jedno pytanie.
Czy jesteśmy pewni, że nasz produkt robi to, czego od niego oczekujemy, w sposób, za który nie będziemy oskarżeni o współudział?