AlphaCode 2 koduje lepiej niż 85% programistów

Zanim zaczniemy śpiewkę o zastąpieniu programistów przez AI, przyjrzyjmy się, jak AlphaCode 2 działa i co to faktycznie może dla nas oznaczać

[5da4266d3de6dbaf425a2d4fc16225d0]

1. Praca programisty to nie jest rozwiązywanie zagadek algorytmicznych
2. Takie zagadki mają miliony rozwiązań w internecie, na githubie na stackoverflow etc, więc LLMy miały się na czym uczyć doskonale je rozwiązywać, bo miały jasno wyłożoną treść i rozwiązanie. Dodatkowo zadania na tych platformach maja bardzo jasno napisaną treść, co dodatkowo ułatwia sprawę.
3. Takie zagadki są względnie krótkie i mieszczą się w "oknie kontekstowym" LLMa.
4. Osobiście czekam z popcornem jak

[Elven]

System ten uzyskał wynik lepszy od 85% programistów, którzy brali udział w rozwiązywaniu takich samych problemów koderskich. Dlatego można powiedzieć, że AlphaCode 2 jest lepszy w kodowaniu ode mnie i być może też od Ciebie.

Modelowy przykład jak nie wyciągać wniosków :)

System ten uzyskał wynik lepszy od 85% programistów, którzy brali udział w rozwiązywaniu takich samych problemów koderskich.

Oznacza to, że system jest lepszy w rozwiązywaniu problemów koderskich od 85% programistów, którzy rozwiązywali te

[Rakky]

@Elven: Dokładnie, oznacza to tylko że AI się moze przydać na sprawdzianie z matematyki/informatyki albo na kolosie z algorytmów. Nijak ma się to do pracy programisty

[kutafonixor]

Modelowy przykład jak nie wyciągać wniosków

No i system rozwiązał zawrotne 43% postawionych przed nim zadań :) Nie sądzę, żebym poradził sobie lepiej, ale nadal brzmi to dość rozczarowywująco :)

@Elven: dla jednych bycie lepszym niż 90% może być powodem do zadowolenia, innym do wstydu ;)

Warto zaznaczyć że poprzednia wersja alpha code przewyższają 45% rozwiązań zgłoszonych przez programistów. Obecna 90%. O ile lepsza będzie wersja 3? O ile 4?

[s.....k]

Ktokolwiek kto widział duży codebase i jakie zmiany wymagań wprowadza klient, ten wie ze AI nie podoła pracy przeciętnego programisty jeszcze przez wiele lat.

Problemem jest nie tylko napisanie kodu spełniającego nowe wymaganie, ale wkomponowanie nowego kodu w istniejący system tak, żeby zachować wszystkie dane i aktualny funkcjonał.

Powodzenia z testowaniem duzych zmian wymagań wdrażanych przez AI, czyli codzienna pełna regresja.

[niki_niki]

@szermierczyk: Jedno jest pewne, przewidywanie przyszłości jest jak przewidywanie czy będzie orzeł czy reszka. Co więcej niektórzy patrzą w przeszłość, aby zgadnąć jaka będzie przyszłość, bo jeśli już dwa razy był orzeł, to na 100% teraz będzie reszka.

[potasek]

@szermierczyk: Może i nie zastąpi całkowicie, ale wystarczy że zautomatyzuje pracę tak że będzie np, połowa programistów potrzebna. Co wtedy?
Już teraz to się powoli zaczyna robić na rynku grafików, to co napisał ktoś wyżej. Widziałem ai apkę do tworzenia gui dla aplikacji mobilnych. Może nie robi tego najlepiej jak najlepszy grafik/ux ale robi wystarczająco dobrze dla zdecydowanej większości ludzi. To jest kawałek tortu który już teraz ai odkraja.
Jak

[Oxo_Rq]

wyobraźcie sobie przedstawiciela biznesu tłumaczącego AI co on tak naprawdę chce :)

[jacek-piekar]

@Oxo_Rq: Ale to nie przedstawiciel biznesu będzie tłumaczył tylko jakiś pryszczaty spec od AI który o pisaniu programów będzie wiedział tyle co ja.

[v-tec]

@Oxo_Rq: taa, a potem jakiś senior będzie poprawiać kod wygenerowany automatycznie z analitykami. Albo pisać od nowa wszystko.
No i nie wiem jakby miała wyglądać integracja z innymi systemami.

[turfa8]

to kiedy #programista3k ?

[Rakky]

@turfa8: Może za 100 lat xD

[dict]

Może i bubble sorta napisze lepiej, ale nie stworzy złożonego systemu np o wysokiej dostępności i z crash recoverability, gdzie nie same linijki kodu mają znaczenie, ale cała aranżacja deploymentu usług.

Dziennikarze i naiwniacy jednak onanizują się tego typu newsami, nie zdając sobie sprawy, że to nie jest takie proste. Są obszary infrastruktury, gdzie generatory kodu nie mają nic do powiedzenia, a już napewno nic sensownego.

[cyjannn]

@dict: na pewno, deploymenty to coś co przerośnie AI xD

[dict]

Efekt Dunninga-Krugera – błąd poznawczy polegający na tym, że osoby niewykwalifikowane w jakiejś dziedzinie życia mają tendencję do przeceniania swoich umiejętności w tej dziedzinie, podczas gdy osoby wysoko wykwalifikowane mają tendencję do zaniżania oceny swoich umiejętności.

@cyjannn: Tak, tak, systemy o wysokiej dostępności, gdzie replika musi wstać i w ciągu kilku sekund być gotowa do przyjęcia ruchu, nie tracąc żadnych (często jedynie zchache'owanych) informacji, rozwiązując problemy wielo-node'owego dostępu do baz

[eich]

System został stworzony by rozwiązywać skomplikowane problemy programistyczne na Codeforces i dał radę rozwiązać 43% problemów. To lepszy wynik niż 85% programistów, którzy wzięli udział w tych samych wyzwaniach. To oznacza, że jest na poziomie naprawdę przyzwoitego programisty.

Wzięli pod uwagę, że 85% programistów nawet nie podeszła do większości problemów bo nie mają czasu ich wszystkich przerobić?

[Luciferrrro]

@eich: Dodać też trzeba, że 99% problemów programistycznych na Codeforces, to zadanka które nie mają nic wspólnego z realną pracą programisty.

[clown_world_order]

Co chwile jest jakiś hype. Był hype na grafen, teraz jest na AI. Wytrenowanie modelu to bardzo duże pieniądze. Żeby nauczyć AI dobrze programować trzeba AI pokazać, co to znaczy dobrze, dać bardzo dużo przykładów, wskazać błędy itd. To drogi i skomplikowany proces. W pewnym momencie staje pod znakiem zapytania opłacalność takiego procesu. A to że są firmy, które chcą na tym zarobić to nic dziwnego. Jak za rok / dwa ludzie

[Reretos]

@clown_world_order: Hype na AI to już prawie 15 lat i ma swoje duże osiągnięcia w przeciwieństwie do grafenu. Inna sprawa, że rzeczywiście jak zwykle jest rozdmuchany

[slx2000]

@clown_world_order: dla mnie AI to taka sama bańka jak dotcomy. Parę firm pompuje hype żeby w pewnym momencie dobrze się sprzedać, a potem wszystko p--------e.

[TheDzions]

jak AI ma kogoś zastąpić, to raczej programiści będą na szarym końcu. Wcześniej mamy prawników, lekarzy, urzędników itp. Jest dosłownie cała litania ludzi którzy są do zastąpienia przed programistami.

I nie, nie jestem programistą :D

[ramuram]

@TheDzions serio uważasz że ai szybciej zastąpi lekarza niż programistę? Mówię to jako programista.

[EtaCarinae]

To dopiero początek. Dajmy im 20 lat rozwoju.

[Pawel993]

@EtaCarinae: dokladnie wytrzymajmy jeszcze 2 tygodnie

[Rakky]

@Erravi: Nie 10, nie 20 a z 50-100 lat. To nie działa tak że rozwój takich technologii jest liniowy a skokowy. Bez większej mocy obliczeniowej nie ma mowy by ruszyć z tym do przodu