https://pro.rp.pl/raporty-ekonomiczne/art43969501-polska-ai-przegrywa-... (@AlekGames)

https://pro.rp.pl/raporty-ekonomiczne/art43969501-polska-ai-przegrywa-z-gigantami-test-modeli-przyniosl-zaskakujace-wyniki

Wcale mnie to nie dziwi. Od ponad dwóch lat eksperymentuję z LLM-ami i modelami multimodalnymi (w tym lokalnie, z PyTorchem), a od wydania Claude Coda bawię się też kodowaniem agentowym. Od samego początku nie kupowałem huraoptymistycznej narracji wokół projektów takich jak PLUM czy Bielik. Pasja i ambicja twórców - ok, szacunek. Ale te modele są po prostu za słabe, częściowo przez nietrafiony dobór modeli bazowych. Jedyny niezaprzeczalny sukces to stworzenie polskiego korpusu treningowego, choć w ostatecznym rozrachunku niewiele to zmienia. Kiedy weryfikowałem z Claude i GPT skąd mają tak dobrą znajomość polskiego, wniosek był taki że to zasługa pokrewieństwa języków słowiańskich - transfer wiedzy z ogromnego wolumenu rosyjskich danych treningowych. Argument o "lepszym rozumieniu narodowych niuansów" nie ma uzasadnienia biznesowego. Gdybyśmy zmierzyli wpływ tych niuansów na skuteczność realizacji zadań, okazałoby się że oscyluje on na garnicy błędu statystycznego (nie mam na to dowodu wprost, ale widzę jakie niuanse lub po prostu podejście wyższego rzędu w zarządzaniu agentami decydują o sukcesie - więc to jest dowód pośredni).

To co ma w tym wszystkim realną wartość to polska myśl techniczna - wystarczy przypomnieć sobie jaki wkład w sukces OpenAI mieli Polacy. Żebyśmy mogli powtórzyć coś takiego lokalnie, trzeba trzymać polityków i presję medialną z dala od inżynierii. Zawsze kończą się tym samym - fatalne decyzje i nierealistyczne oczekiwania. Skupmy się na mierzalnych efektach. Dziś najbardziej miarodajnym benchmarkiem dla modeli nie jest sama biegłość językowa, tylko obsługa narzędzi (tool use) i multimodalność. Z tego wynika cała reszta, np. zdolność logicznego rozwiązywania problemów i jakość danych treningowych w konkretnych scenariuszach. Czy taki rodzimy model nam się przyda? Na rynku nie widzę dla niego szerokich zastosowań czy szansy na sukces (patrz Mistral), ale własne rozwiąznia tego typu musimy mieć - choćby ze względu na obronność.

#ai #sztucznainteligencja