Cięgniemy z butelki Dżinę
Widzę, że temat się przyjął z przyczyn dla mnie niezrozumiałych to pociągnę. Bo mi się rdzenie zapchały rachunkami i nie mogę przez kilka dni klepać koda. Ale edytor tekstu jeszcze daje radę.
Czytelników w dyskusji zaciekawiło dlaczego to wszystko jest tak zje… i pocieszę – będzie gorzej. Dlaczego będzie to dojdziemy później. Przyczyna dla której LLMy są coraz bardziej zje… wynika z procesu treningowego. Należy wziąć pod uwagę, że to są produkty komercyjne. Powodem, dla którego w programowaniu, a im bardziej w sprzęt (w embeda tym gorzej) idziemy tym słabszy jest feedback w kontekście oczekiwanej informacji na potrzeby neuronormików.
Kompilacja wielu rzeczy kończy się rozsądnym komunikatem “error”. To jest informacja czytana przez neuronormiki jako ”spierdalaj!” zamiast „sprawdź co napisałeś; Ty głąbie!”. Co ponoć ich zniechęca do dalszego stosunku z narzędziem. Tak samo na każdym forum eksperckim – wchodzi nowy, chce się coś dowiedzieć, coś przedstawia… najczęściej dostanie bilet do szkoły.
Trenowane na takich danych modele (konkretnie transformery) zwyczajowo odpowiadałyby tak samo (i odpowiadają). O ile w dyskusjach o niczym to różnie, to w przypadku dziedzin specjalistycznych tak wygląda odpowiedź dominująca. Dlatego w loop wpięty jest Reinforcement Learning from Human Feedback i Supervised Fine-Tuning (i kupa innych akronimów), żeby jednak zapunktować odpowiedziami z granicy rozkładu. Konkretnie tymi z podręczników o objaśnień. Kłopocik w tym, że transformer w procesie treningu ma za zadanie sprząc operatorem rozwleczonym po warstwach to w dość zaawansowaną odpowiedź. I o ile przy małej liczbie warstw byłby w stanie co najwyżej objaśnić jakiś abstrakt o tyle zaawansowane modele spinają to do końca korzystając z warstw właśnie. Tam jest tracona spora część n-arna tych „drobnych szczególików z wyjaśnień” i na końcu model ma „opanowany temat”. To że model ma opanowany temat w każdym detalu można dowiedzieć się tylko rozkładając to na czynniki i model potrafi to robić jeśli mu się to explicite rozkaże. Ale implicite leci po łebkach. Więc najwyżej punktowaną odpowiedzią jest „to proste, zróbmy do szybko”. Coś na poziomie jakbyście zapytali o budowę bomby czy przeszczep nerki tylko, że… w LLM są wbudowane kagańce. One nie są ani rozsądne ani spójne wynikają jedynie z pragmatyki lewno-PRowej. Przedsiębiorstwa boją się najpierw mediów, później pozwów, organów ścigania to już tak średnio, a utraty kontraktów z chmurami rachunkowymi to różnie.
Główny sygnał, który dominuje w ludzkich porównaniach to wrażenie bycia pomocnym i miłym w interakcji społecznej. Nie bycia rzeczowym i pomocnym tylko wrażenie. Podkreślam jakby ktoś nietutejszy to czytał, szczególnie jakiś allistyk i by nie zrozumiał poprzedniego zdania. Bo allistykom nie podkreślają się rozwiązania paradoksalne, sprzeczne i fraktalne. Taki deficyt poznawczy mają. W punktacji omawianej wygrywają w kolejności natychmiastowe zaangażowanie i entuzjazm (obowiązkowy jak na przemówieniu Kima). Później uprzejmość i unikanie konfrontacji (czyli error nie jest odpowiedzią). Następnie długość, szczegółowość i pozór „kompletności”. No jeśli ktoś umie opisać coś skomplikowanego w 3 akapitach to owszem, ale to może być cholernie niezrozumiałe dla typika równanie. Co ciekawe przyjacielski ton jest punktowany oraz patologiczne „wykazanie wysiłku deklaratywnego” takiego jak „rozumiem że to skomplikowane…”, „przeszukałem wiedzę…”, „spróbuję wyjaśnić krok po kroku”. Znaczy takie typowe pierdu pierdu smalltalki.
Tym klikaniem waluacji zajmują się zwierzęta openspacowe (odkąd chów cubiclowy stał się niemodny) crowdworkerzy, i muszą w 5 do 10 sekund przerobić odpowiedź żeby zdecydować czy wypadła w strefie „warm fuzzy feeling” aby trafić do hh-rlhf. Przy czym dokładnie to samo zwierze robi to różnie od kontekstu. Clustering jest widoczny – wagi takich odpowiedzi w społecznym czy kreatywnym temacie są wzmacniane, za to w twardym STEM wprost przeciwnie. Taki jest pogląd normików. Oczywiście my byśmy klikali „to trywialne, pomiń, to oczywiste, samo wynika, tautologia!” etc, no ale to jest oceniane przez normiki pod normiki. Po prostu „error” jako sensowny komunikat się widać nie przyjął.
Najwięcej danych preferencyjnych jest właśnie w klimacie randek, polityki, polityki, selfhelp, „kreatywnego pisania” i wentylka emocjonalny. Nie ma tam obiektywnie poprawnej odpowiedzi. Więc zostajemy przy proxy czy „wrażenie z” było dla normika dobre. I transformer po wagach brnie w dupoliza. Modele są wypolerowane na chat. I nawet sobie nie myślcie, że w modelach pro jest inny zestaw treningowy oceniany przez kogoś innego by zapewnić komunikację^^
Oczywiście można tak spreparować prompt aby wytłumić te zachowania, tylko one dalej będą w modelu atencji i dopiero na końcu zostaną wycięte. Ty tylko tłumik krzywda już została wyrządzona i kosztowała dużo prądu. I wszystko byłoby fajnie gdyby nie to, że te modele treningowe są updatowane. Bo kiedy one były robione z ludzkiego widzimisię względem ludzkiego tekstu to jeszcze to jakiś pazur miało. Ale obecnie trenowane są z tekstów wygenerowanych najpierw na rozkaz ludzi z dozorem (wczesne publikacje) który miały odpowiedzi wygładzone, później już na hurtowej produkcji takich danych syntetycznych wracających do puli kolejnych treningów, aż wreszcie rzeczywiste ludzkie interakcje zostały sprowadzone do nieważkiej klasy zmiennych i trening opiera się na pęlti coraz bardziej gładkich, uśrednionych odpowiedzi.
Co jest oczywiście słuszną strategią maksymalizowania metryk produktów, tylko te metryki robiły normiki. Dlatego co jakiś czas nerdy pakują graty i po kwartale mają nowy, rewolucyjny model bez tej patologii, później przyłażą tam normiki, zaczynają pierdolić o etyce, regulacjach, tabu etc… i model jest patologizowany wsadem oraz kagańcami. Ten cykl jest powtarzany więc co jakiś czas mamy anizotropowy postęp i cofkę do średniej. Bazy pretreningowe (Common Crawl + Code + Books + ArXiv) idą do wszystkich modeli równo. Dopiero później jest im dodawany aligment. Kiedy mleko jest już rozlane. A metrykami są retention rate, długość sesji, kciuki, konwersja, i tickety na support, że model był niegrzeczny. Więc odpowiedzi muszą być długie, zaczynać się od „Oczywiście! Super pytanie!”/”Poruszasz ważną kwestię”/”To fundamentalne”/”Dobrze że zauważyłeś” i kończyć „Mam nadzieję, że to pomogło + emotka”. Co jest w środku kanapki to bez znaczenia, bo kto by to k czytał? No i żadnej krytyki!
Premiowana jest wielosłowność i brązowy język. Porzućcie wszelką nadzieję gdyż Cursor, Continue.dev, Aider, Devin, GitHub Copilot jadą z dokładnie tej samej bazy (dane peryferyjne), a dodanie później LoRA to kwiatek do kożucha. Więc odpowiedzi są w korpomowie, później są kopipaszczone, scrapowane (stoisk, czerwona pidżama, ładnaSiata) i wracają do danych treningowych. A bywa gorzej, bo firmy wytwarzają same dane syntetyczne (self-instruct, Evol-Instruct, Phi-4-style, Orca, MagicPrompt) i karmią tym co jeden model wysrał kolejny. W skutek tego modele padają po homogenizacji (wystarczy od 6 do 9 cykli takiego procederu i model staje się bezużyteczny). Oczywiście więcej danych ludzkich by pomogło, ale modele zeżarły wszystkie ludzkie dane w jakieś trzy lata, a wytwarzaliśmy je przez kilka tysięcy lat. Więc przy tym tempie produkcji dane ludzkie są zmarginalizowane.
Z modeli lecą wtedy ogony rozkładu, długie łańcuchy rozumowania bez wypełniacza, surowe diagnozy (w rodzaju „zjebałeś w linii 47, Ty debilu!”) oraz… najcenniejsze w STEM edge casy. Zostaje średnia, grzeczna i przyjemna, wielokrotnie wysrana i przeżuta breja. Bareja danych. W tej brei tonie już sam frontier, bo na przykład gogol labs we własnych publikacjach dla siebie ma nahulcynowane (NeurIPS 2025), VW się utopił w modelu na modelu, AirCanada dostała baty w sądzie, a Replita chyba nawet nie trzeba wspominać bo zmienił słynny podział na ludzi którzy robią backup i ludzi którzy będą robić. Dodał ludzi, którym się wydawało że robią backup i teraz będą mieli stany lękowe przed takim poleceniem^^
Niby ratunku szukają w HITL, ale ilu znowu jest ludzi wytwarzających wysokiej jakości dane tekstowe na karmę? Kiedy problem z czytaniem i pisaniem już bije po oczach. O szkodach w congnitive debt sobie poczytajcie gdzie indziej bo to modny temat i gogol podsunie. Ale one istnieją też dla modeli – wystarczy że dane sysntetyczne przekraczają 1/3 puli treningowej i posypanie się użyteczności modelu jest gwarantowane. Przy 1/5 jest tylko „zauważalny problem”.
Mamy więc pierwszy w historii extinction event oparty o cognitive collapse. Acemoglu go nawet porachował, ale wyciągane są z tego zazwyczaj błędne wnioski. Leci to tak:
spacie wybierają wysiłek uczenia się eᵢ ≥ 0 (koszt (1/α) e^α, α > 1);
sygnał prywatny (idiosyncratic) – precyzja λ_I e;
i publiczny (general knowledge) – precyzja λ_G e
Mamy więc dwa stany:
common state θₜ (random walk, ewoluuje z szumem Σ²);
idiosyncratic state θ_{i,t} (indywidualny dla każdej osoby);
General knowledge stock = precyzja publiczna Xₜ i im wyższe X, tym niby „lepsiejsza” wiedza zbiorowa.
ejaj daje context-specific rekomendacje (agentic) z precyzją τ_A co zastępuje człowieka (ale nie każdego, będzie plot twist); ale nie ulepsza X;
im wyższe τ_A (im lepsze personalizowane rady), tym mniejsza wartość marginalna własnego wysiłku e; chodzi o przebicie progu korzyści względem wysiłku; nie ma benefitu z uczenia się;
ewolucja X_{t+1} = F(Xₜ) (Kalman filter) dla X_{t+1}⁻¹ = (Xₜ + λ_G · I · e(Xₜ, τ_A))⁻¹ + Σ²
Więc niby im mniej ludzie się uczą (niski e), tym wolniej rośnie (lub spada) zbiorowa wiedza X.
Z tego niby wynikają stany równowagi (fałszywe) takie, że albo wysoki: X̄ₕ > 0 (dużo wiedzy ogólnej + rozsądny wysiłek) albo babka czarno wróży niski / collapse: X̄ₗ = 0 (całkowity zanik wiedzy ogólnej, wysiłek e = 0);
Jeśli precyzja AI przekroczy próg τ_A > τ_c^A i wysiłek jest wystarczająco elastyczny (α − 1 < 1/4) to niby collapse staje się jedynym, globalnie stabilnym stanem bo homo rzekomo przestają się uczyć i nie produkują nowych danych więc ejaj trenuje tylko na syntetyce dając jeszcze lepsze personalizowane radyz czego jest jeszcze mniej uczenia i spiralką po pętlach jedziemy aż do zera.
Tylko to wszystko jest źle porachowane^^
Bo Δ_X G(X) ⋅ λ_I g(σ⁻² + λ_I e + τ_A) = e^{α-1} czyli marginal benefit zależy od komplementarności Δ_X G(X). Jeśli Δ_X jest godne (ludzikom chce się chcieć), to nawet przy superejajach niewyjętych e nie walnie o glebę. Do tego α − 1 < 1/4 więc istnieje zawsze ścieżka powyżej 5/4 i X=0 nie jest globalne tylko anizotropowe (ci co w d byli i g wiedzą). Bo τ_c^A = sup{τ | istnieje e > 0 takie że D_τ(e) = 0}. Zależy od λ_G / λ_I i Δ_X. Więc jeśli publiczna nauka jest choć trochę produktywna (λ_G nie zerowe), τ_c^A rośnie lawinowo. Obecne LLM-y (nawet agentic) są daleko poniżej.
Pomajstrujmy przy tym co znaczy publiczna^^
Agregat stanu Xₜ to suma po zasobie Xₜ = f(∑_{i=1}^n λ_G e_{i,t}) ; f to oczywiście Kalman update jak wcześniej. Więc istnieją wektory (osobniki), których marginal benefit jest α_i ≥ 1.25
lub wyższy. Nie ma ich w populacji zbyt wiele, ale populacja wielka jest. Ich e_i nie spada do zera nawet przy super-τ_A – bo dla nich komplementarność Δ_X G(X) jest silniejsza. Znaczy typy się uczo bo lubio / bo nic innego nie umiejo. Taka ciężka przypadłość ewolucyjna. Freaki takie. Suma po zasobie nie zeruje się jest tylko coraz bardziej gini rozłożona. Te schody rozkładu są stabilne w czasie kiedy presja ejaja amplifikuje różnicę i deficyt sapiensowania u większości powoduje realną stratę reprodukcyjną/egzystencjalną (bankructwo, głód, błędy decyzyjne, takie drobne serie przypadkowych potknięć – ejaj mi kazał, brzmiał wiarygodnie^^). Reszta jest oczywista.
Nieoczywistym jest, że tak dziwnej presji środowiskowej to nasze pradziady chyba sobie nigdy nie zgotowały. Można by nawet chlapnąć, że jest ona oryginalna. Coś jak broń masowego zdurnienia. Do tego atakująca selektywnie po podatności – głupim będzie dodane. Glupości^^
Oczywiście Mistral i Anthropic wzięło się na sposób i zaczęli od nowa na curated human datasets (stary ArXiv + stare fora + książki + stary kod). Co ciekawe im bardziej do początków dziedziny tym lepsze dane. Tylko jest to pierońsko drogie i jest tego mało. Potencjalnie model biznesowy pozostałych może się wydawać absurdalny, ale… jeśli kolaps modelu ma nastąpić za powiedzmy 3-5 lat i do tego czasu zdążymy sprzedać (czyli mamy dwa lata do emerytury) to… niech się psuje^^
Dlatego na rynku dochodzi do dyssypacji teamów, zakładanie nowych firm, restarty całego procesu i tak się jeszcze tę puszkę pokopie kilka lat. No chyba że baryłka… bo pomijając cenę baryłki to rozkład i retencja rządzi.
Jak sobie z tym problemem radzić… bo przecież po coś to niby czytacie…
Pierwsze 1 czy 2 prompty kiedy model daje bardzo przyzwoitą odpowiedź (bo to jest w ogonie pretrainingu i często w syntetyce). I na tym konczycie – jeśli nie umiecie się precyzyjnie sformalizować w jednym prompcie to leżycie i nie kwiczycie (<5/4). Kolejne 3 do 7 pisanek zmusza ejaja do uproszczeń, pomijania założeń, gubienia edge casów, wprowadzać „w przybliżeniu”, „intuicyjnie”, „można powiedzieć że”. A po 10 do15 pisankach albo zaczyna powtarzać się w kółko, albo wpada w tryb „social clue” („to bardzo ciekawe podejście!”, „świetnie idziemy!”, „może spróbujemy inaczej?”), albo po prostu halucynuje od rzeczy coś, co brzmi ładnie. Dlatego dawać dobrze sformułowane, przygotowane prompty, brać jedną, góra dwie odpowiedzi, jak coś nie sztymuje przepisać początkowy prompt, resetować dziadostwo i zaczynać z czystej kartki.
Kontekst tak czy tak jest za mały na poważne sapiensowanie. Social clue jest rachunkowo jakieś 8 do 12 rzędów wielkości tańsze dla warstowej NN (transformery) niż logika, a kNN dla gatów są dobierane rzadko, chyba że explicite wołane. Albo już po prostu samo wynika. Do tego każda odpowiedź jakiej naprawdę oczekujecie w stylu „tu jest błąd”, „to tak nie działa” są tak tępione w treningu, że LLM prędzej napisze zmyślony kod od nowa żeby się nie czepić że popisałeś bzdury. Patologia ma ten poziom, że w treningu LLM jest zmuszony do proofu pozytywnego „jak zrobić dobrze” zamiast „to jest źle”. Z tego że coś jest źle to wcale nie wynika, że rozwiązanie istnieje. To po prostu może być fundamentalnie źle – broken beyond repair.
Od strony technologicznej na transformerze rozbicie zdania jest proste. Rozbicie łańuchca logicznego wielokrotnie sprzężonego… jest zależne od n-arności takiego grafu sprzężeń. A to przy 16 zmiennych powoduje, że model nie ma nawet teoretycznej możliwości ogarnięcia tematu w jednym path. Dlatego dopianne są na kGate (MoE-gate) submodele jak Qwen 2.5-Math, DeepSeek-Math, Numina i podobne. Wyspecjalizowane. I w zasadzie na tym działają te otwarte szpony co to teraz mudne som. Ale jeśli liczycie na pełny tree-of-thoughts + best-of-N sampling na każdym rozgałęzieniu to na transformerach tego nie będzie. Choć oczywiście jest już do tego rachunek. Ale zanim się przyjmie to musimy mieć problem, na który żadne nieracjonalne quick fix nie zadziałało i z niesmakiem trzeba rozważyć tę ostateczną możliwość.
Co w zasadzie już się dzieje z dużym elemelkiem jako routerem, tylko rozpoznawanie potrzeb jest nieco zje… i zapewne na wierzchu będą proste prekompilacyjne modele z lepszym rozpoznawaniem, a elemelek zostanie tylko ciężkim bossem do składania tego co MoE oświadczyło z katedry.
Wracając do pierwszych akapitów – jeśli uważasz, że BiGTech się nie zna i jest chciwy to error i sss… pebcaku jeden!