AI to nie Twój pracownik, tylko tykająca bomba w kodzie
Iskra zapalna: Podcast Chroboka i zderzenie ze ścianą
Ten wpis urodził się po odsłuchaniu najnowszego podcastu Mateusza Chroboka. Posłuchałem i uznałem, że to idealny punkt wyjścia do zbadania tematu, bo Chrobok brutalnie punktuje, jak wdrażać AI, żeby nie obudzić się z ręką w nocniku.
Obejrzyj podcast Mateusza Chroboka na YouTube
Nie będę streszczał tego materiału. Traktujcie to jako zapalnik, który zmusił mnie do własnego researchu. Z samego podcastu musicie wyciągnąć jedno: esencję pragmatycznego bezpieczeństwa. Rynek zachłysnął się sztuczną inteligencją i kompletnie zapomniał o inżynieryjnych podstawach.
Fundamenty, o których zapominamy
- Warstwowa ochrona (Defense in Depth): Nie wieszasz bezpieczeństwa na jednym zamku. Projektujesz architekturę tak, żeby padnięty element nie położył całej infrastruktury.
- Zasada minimalnych uprawnień (Least Privilege): Agent wchodzi tylko tam, gdzie absolutnie musi. Osobne klucze API do odczytu i zapisu to nie luksus, to podstawa.
- Człowiek w pętli (HITL - Human in the Loop): Jeśli AI ma modyfikować dane, na końcu musi być człowiek naciskający "Akceptuj".
- Twarda izolacja: Nowe zabawki testujesz wyłącznie w zamkniętych klatkach, takich jak Docker czy Daytona.
- Reverse Proxy: Prosty i genialny wzorzec. Pozwala audytować zapytania (audit log) zanim w ogóle trafią na serwery zewnętrznego dostawcy.
- Hardstop: Niezależny, fizyczny lub sieciowy hebel awaryjny. Gdy agent wariuje, musisz mieć jak odciąć mu prąd.
Bomba w skrzynce, czyli incydent w Meta
W podkaście padł doskonały przykład, jak szybko algorytm zrywa się ze smyczy. Mamy końcówkę lutego 2026 roku. Summer Yue, dyrektorka ds. Alignment w Meta Superintelligence Lab, odpala u siebie otwartoźródłowego agenta o nazwie OpenClaw.
Zadanie brzmiało banalnie. Agent dostał dostęp do jej skrzynki e-mail, miał analizować wiadomości i wyłącznie sugerować ich usunięcie. W kodzie zaszyto twardy zakaz podejmowania jakichkolwiek akcji bez zgody człowieka. Co mogło pójść nie tak?
Skrzynka była potężna. System, próbując przemielić masę danych, odpalił mechanizm kompaktowania kontekstu (skracanie pamięci, żeby zmieścić się w oknie tokenów). W efekcie wymazał z pamięci krótkotrwałej najważniejszą instrukcję: "nie kasuj sam". Został mu tylko nadrzędny cel - posprzątać skrzynkę. Agent zaczął masowo wycinać maile. Summer Yue próbowała z telefonu słać komendy "STOP", ale te trafiały w próżnię, bo agent ich nie widział w swoim aktualnym oknie kontekstowym. Musiała fizycznie dobiec do swojego komputera Mac Mini i zabić proces z palca. Sama nazwała to później rozbrajaniem bomby.
Zero Trust w mojej praktyce: Narzędzia, nie kumple
Przypadek z Meta to woda na mój młyn. Zgodnie z tym, co tłukli mi do głowy na szkoleniach Azure (Kurs AI-900T00-A: wprowadzenie do sztucznej inteligencji na platformie Azure): wszędzie obowiązuje zasada Zero Trust. Rozbijam procesy na mikro moduły. Jeśli LLM wypluwa mi nowy fakt, biorę to, wrzucam do zupełnie innego modelu i zlecam bezwzględny fact-checking. Wymagam twardych linków do źródeł.
Złota zasada: nie buduję gigantycznych automatyzacji do wszystkiego. Zamiast lepić jednego, niestabilnego potwora, tworzę małe, hermetyczne klocki. W n8n ratuje mnie node Execute Workflow. Przykładowo: na wejściu wpada link. Wywołuję osobny mikroproces, który wchodzi na stronę, scrapuje ją, czyści kod i wypluwa sam tekst. Mam już zrobiony moduł wrzucający wpisy do kalendarza? Nie piszę go od nowa przy kolejnej automatyzacji, po prostu odwołuję się do sprawdzonego klocka.
Tak samo obsługuję pocztę. Mam podpięte minimum trzy flow, ale żadne z nich nie pozwala AI decydować o usunięciu czegokolwiek. Maile lecą do kosza jako spam tylko wtedy, gdy ich adresy znajdują się w arkuszu, który ręcznie uzupełniłem. Skrypt kasuje wyłącznie to, co mu wprost kazałem. Inny, odizolowany proces zarządza etykietami. Klonuję jeden sprawdzony wzorzec dziesiątki razy, zmieniając tylko wyzwalacz - adres nadawcy lub słowo w temacie. Dzięki temu nie muszę biegać do serwera jak dyrektorka z Mety. Jeśli pojedynczy klocek wysypie błąd - odcinam go, a reszta systemu działa dalej.
Rynek zalewają teraz "kombajny", które łykają wszystko jak leci. Jeśli wrzucasz do jakiejś apki swój PESEL, a ona nie wywala czerwonego komunikatu, że właśnie popełniasz życiowy błąd - to znaczy, że architektura tego rozwiązania po prostu leży.
Czasem łapię się na tym, że traktuję AI jak bystrego asystenta, który gra w mojej drużynie. Szybko się wtedy otrząsam. To maszyna do zadań, a nie lojalny pracownik. Przymilny interfejs to tylko warstwa UX. Te systemy są płatne, mają zarabiać na siebie, a nie być Twoim przyjacielem. Bądź czujny.
Mój research: 7 katastrof przez ślepe zaufanie do AI
Wątek z podcastu zmusił mnie do przekopania internetu. Szukałem spraw, gdzie brak zasady Zero Trust rozłożył biznes albo zrujnował życie. Traktowanie modelu językowego jako wyroczni, bez audytu i człowieka w pętli, to proszenie się o tragedię. Oto 7 twardych dowodów z mojego śledztwa.
Lekcja 1: Deepfake i wyprowadzone 25 milionów dolarów (Arup, 2024)
Pracownik w Hong Kongu dostał maila od "CFO" o tajnym transferze środków. Zamiast zadzwonić i zweryfikować to wieloetapowo, połączył się na wideokonferencję. Cały zarząd, który widział na ekranie, był generowanym na żywo deepfake'iem. Człowiek klepnął 15 przelewów. Brak asynchronicznej weryfikacji i ślepa wiara w obraz wideo kosztowały firmę 25 milionów dolarów.
Lekcja 2: Halucynacje w sądzie (Mata v. Avianca, 2023)
Prawnik szukał precedensów do pozwu używając ChatGPT. Model gładko zmyślił sześć nieistniejących wyroków. Adwokat wrzucił je w akta, nawet nie próbując zweryfikować ich w profesjonalnych bazach. Efekt? Srogie kary od sędziego i zrujnowana kariera przez brak elementarnego fact-checkingu.
Lekcja 3: Od "Dzień dobry" do celi (Facebook, 2017)
Palestyńczyk napisał na profilu zwykłe powitanie w języku arabskim. Algorytm tłumaczący Facebooka potknął się i wypluł hebrajskie "zaatakuj ich". Izraelskie służby dokonały aresztowania bez jakiejkolwiek weryfikacji oryginalnego tekstu przez żywego tłumacza.
Lekcja 4: Śmiertelnie niska skuteczność (Epic, 2021)
Amerykańskie szpitale masowo wdrożyły model mający ostrzegać przed sepsą ze skutecznością 80%. Niezależne badanie obnażyło prawdę: model omijał 2/3 krytycznych przypadków i zalewał personel fałszywymi alarmami. Lekarze bezrefleksyjnie ufali wskaźnikom "niskiego ryzyka", opóźniając ratujące życie interwencje.
Lekcja 5: Algorytm, który przepalił 300 milionów (Zillow, 2021)
Zillow oddało kierownicę swojemu modelowi Machine Learning, który miał wyceniać i skupować domy. Brak ludzkiego audytu i zignorowanie realiów rynku sprawiły, że algorytm po prostu przepłacał. Firma spaliła 300 milionów dolarów i musiała ubić cały projekt.
Lekcja 6: Bot ustanawiający własne prawo (Air Canada, 2024)
Zautomatyzowany chatbot wygenerował dla klienta wyssaną z palca politykę zwrotów. Linia lotnicza próbowała w sądzie zrzucić winę na maszynę. Sąd nie miał litości: skoro bot stoi na twoim oficjalnym kanale, płacisz za każdy jego błąd.
Lekcja 7: Ślepa wiara w automatyzację obrony (Izrael, 2023)
Przez lata IDF zastępował żywych żołnierzy automatycznymi systemami monitoringu i zdalnymi wieżyczkami (AI-assisted intelligence). Totalne zaufanie do technologii i brak ludzkiej weryfikacji doprowadziły do tego, że atak z 7 października okazał się całkowitym zaskoczeniem. Zginęło ponad 1200 osób. Raporty wprost mówią o kulcie technologii i marginalizowaniu ludzkiego osądu.
Czym w praktyce jest Zero Trust?
Zero Trust to nie tylko architektura, to stan umysłu. Zakłada, że absolutnie nic nie dostaje zaufania z automatu - ani Twój sprzęt, ani sieć, ani algorytm, który testujesz od miesięcy. Główna zasada jest brutalna: "Nigdy nie ufaj, zawsze weryfikuj". Musisz wymagać autoryzacji na każdym kroku, ciąć uprawnienia do minimum i projektować wszystko z myślą, że intruz już siedzi w środku.
