Tokeny w AI: kurs dla początkujących. Czemu AI nie liczy?

Czym są tokeny i jak sztuczna inteligencja naprawdę czyta nasz tekst

Tokeny to najprościej mówiąc małe fragmenty wyrazów. Sztuczna inteligencja tnie na nie każde twoje zdanie, żeby w ogóle móc je przetworzyć na swoich serwerach. Myśl o nich jak o wirtualnych sylabach. Główna różnica polega na tym, że superkomputery szatkują ludzkie wyrazy według własnych, z pozoru całkowicie nielogicznych dla nas zasad.

To właśnie z powodu tego dziwacznego cięcia zdań na kawałki, najdroższe modele językowe na planecie potrafią w ułamku sekundy rozwiązać skomplikowane zadanie z fizyki kwantowej, a chwilę później z pełnym przekonaniem oblać test przedszkolaka. Z uporem maniaka potrafią twierdzić, że słowo "truskawka" ma zupełnie inną liczbę liter, niż wskazuje na to nasza gramatyka.

Dlaczego maszyny muszą szatkować słowa na mniejsze kawałki?

Żeby głęboko zrozumieć proces tokenizacji, musisz wrócić do twardych podstaw elektroniki. Nawet najbardziej zaawansowany serwer AI to w swojej istocie tylko potężna maszyna licząca. W widzeniu świata ogranicza się do nieskończonego ciągu zer i jedynek. Maszyny są całkowicie ślepe na nasz alfabet i w ogóle nie rozumieją ludzkiego tekstu.

Aby wirtualny mózg mógł rozpocząć analizę twojego polecenia, inżynierowie musieli sprytnie przetłumaczyć język na sztywne liczby. Naiwne przypisanie unikalnej liczby do każdego słowa w słowniku (np. słowo kot = 100) natychmiast zabiłoby system. W polskim mamy przecież: kot, kota, kotem, kotom. Generowanie osobnego numeru dla każdej możliwej odmiany we wszystkich językach świata stworzyłoby tak gigantyczną bazę, że największe superkomputery by się pod nią udławiły.

Z drugiej strony, przypisanie liczb tylko do pojedynczych liter wyczyściłoby tekst z jakiegokolwiek szerszego kontekstu. Maszyna musiałaby wykonywać tytaniczną pracę, by za każdym razem najpierw ułożyć sobie litery w pełne słowo, a dopiero potem domyślać się jego logicznego znaczenia. Dlatego twórcy AI poszli na twardy kompromis.

System tokenów to rozwiązanie siłowe. Algorytm dzieli długi tekst na popularne w danym języku zlepki liter i rdzenie słów. To matematycznie niesamowicie wydajne, a jednocześnie pozwala zachować pełne znaczenie poszczególnych zwrotów.

Jak to wygląda w praktyce i dlaczego musi cię to obchodzić?

W praktycznym działaniu asystenta cyfrowa rzeźnia potrafi być zaskakująca. Krótkie i powszechne słowo to zazwyczaj jeden, pojedynczy token. Jeśli jednak wpiszesz bardzo długi, rzadki lub skomplikowany wyraz (np. "niezidentyfikowany"), system bez wahania poszatkuje go na trzy lub cztery oddzielne kawałki, brutalnie odrywając przedrostki i końcówki.

Dlaczego ta wiedza jest na wagę złota? Ponieważ tokeny to jedyna waluta w świecie nowoczesnych technologii. Kiedy korporacje kupują dostęp do potężnych modeli za miliony dolarów, nie płacą za litery ani za słowa. Rozliczają się w fakturach dosłownie za każdy, pojedynczo przetworzony przez serwer token.

Co więcej, każdy współczesny model językowy ma fizycznie narzucony sztywny limit. To tak zwane okno kontekstowe - określa, ile cyfrowych klocków maszyna jest w stanie utrzymać w pamięci operacyjnej podczas jednej sesji. Jeśli go przekroczysz, AI brutalnie utraci wątek rozmowy.

Zabawny przypadek truskawki, czyli dlaczego AI nie umie liczyć

Ludzie namiętnie wyśmiewają sztuczną inteligencję, pokazując zrzuty ekranu, gdzie asystent upiera się, że w słowie "truskawka" są tylko dwa r. Dzieje się tak wyłącznie z powodu sposobu, w jaki model patrzy na świat. Patrzy na niego wyłącznie przez pryzmat wirtualnych, zbitych klocków, a nie pojedynczych liter.

Kiedy maszyna połyka słowo "truskawka", nie widzi ciągu liter po kolei. Widzi jeden z góry zamknięty i solidny wirtualny klocek. Czasem widzi to słowo posiekane na dwa większe bloki: "trus" oraz "kawka".

Wyobraź sobie, że dostajesz zadanie: policz błyskawicznie wszystkie małe, żółte pestki na truskawce. Warunek jest jeden - nie możesz na nią spojrzeć, musisz ją po prostu połknąć w całości. Dokładnie tak czuje się sztuczna inteligencja zmuszona do literowania.

To zjawisko dobitnie udowadnia, że ten wirtualny byt w wielu aspektach myśli w sposób tak drastycznie obcy i inny od ludzkiego, że musimy od podstaw uczyć się tej mechaniki. Ignorowanie jej to prosta droga do frustracji w codziennej pracy.