Kod stworzony przez AI zawiera gorsze błędy niż stworzony przez ludzi

Najnowsza analiza pokazuje,że kod tworzony przez modele AI częściej zawiera poważne błędy niż oprogramowanie pisane przez ludzi.Choć automatyczne generowanie fragmentów aplikacji przyspiesza pracę zespołów,badacze ostrzegają,że zyski produktywności mogą być okupione spadkiem jakości i bezpieczeństwa

[SCAInet]

@mac_mod: Piękne

[J.....0]

@mac_mod: kraftowe

[Danuel]

Nie ma to znaczenia - ważne, że jest taniej. Szykujta się klepacze kodu na ruchanie w dupsko. Robić uprawnienia na spawacza.

[ragnarok-asgartus]

@Danuel: niestety to tak działa i nie tylko w przypadku programistów, ale wszędzie. U nas nowy technik na produkcji dostawał więcej na start niż ludzie pracujący 5-7 lat na tej pozycji... Zero doświadczenia, zero wiedzy i po ujawnieniu ile dostał na umowie o pracę powoduje, że taki człowiek nic się nie nauczy, bo nikt nie będzie chciał go uczyć czy pomagać....

[kamil-tumuletz]

@Danuel: kolumbijczycy 6k b2b nie mogą się doczekać aż będą kodojebców wdrażać w feudalne fabryki płotów w pcimiu xD

[mariecziek]

Szkol AI na kodzie pajetów - dziw się że dostajesz kod słabej jakości.

[SCAInet]

@mariecziek: nazywanie tego kodem to spore nadużycie ( ͡° ͜ʖ ͡°)

[mariecziek]

@SCAInet: Mi LLMy się nie przydają tam gdzie wiem co mam zrobić. Jak mam PHP i kod pisany zgodnie z DDD i CQRS - LLM jest zbędny, pewnie wie o co chodzi, ale wątpię, że ma dobre przykłady kodu, na których był szkolony. No ale nie mam doświadczenia w VueJS - więc wspomaga pisanie kodu: wskazuje mi błędy, podaje propozycje rozwiązań jak mam jakiś problem z którym nie mogę sobie

[blend]

najpierw AI w-----e bezużytecznych menadżerów i dyrektorów, najlepiej nadaje się do pisania długich nudnych maili, produkcji dokumentów których nikt nie czyta, oderwanych od rzeczywistości wymagań

[CipakKrulRzycia]

@blend: ale kto wtedy będzie robił te bezużyteczne spotkania w corpo dla Areczków i Grażynek?

[Qaktuz]

@blend: Też tak z początku myślałem. Ale niestety o zwolnieniach decydują właśnie tacy bezużyteczni menadżerowie i dyrektorowie.

[v.....t]

Szukanie sensacji. To tak jakbym krytykował wiertarkę, że wciąż zrywa gwinty, bo akurat uparłem się wkręcać nią wkręty.

[Inarus]

yhm nie AI jest problemem tylko ludzie, którzy nie potrafią jej wykorzystać. Artykuł to kolejny bait. Dodatkowo od czasów AI mam takie security review kodu o jakim jeszcze 5 lata temu nawet nie mógłbym pomarzyć.

[ivan-grozny997]

@Inarus: Ale ja 2 lata temu czytałem, że to będzie bezproblemowe i w ogóle na klik można robić wszystko. Czas leci, a w praktyce żeby w pełni generować kod przez LLM, trzeba po pierwsze dużo czasu poświęcić na dopracowanie złożonych promptów, powtórzyć wiele prób, a przede wszystkim mieć wiedzę, że coś tu jest nie tak i trzeba zmienić kierunek teraz, a nie za parę iteracji.

Więc to żaden bait -

[Luqart]

@bylemtampotwierdzam: Pierwsze sieci neuronowe powstały 80 lat temu. Transformery to nic innego jak kolejna iteracja sieci neuronowych, a samo uczenie maszynowe ma ponad 40 lat. To nic odkrywczego. Dobrze i przystępnie to opisuje Profesor Piotr Durka na kanale "Nauka. To lubię". https://www.youtube.com/watch?v=k4sLtiE5QPk&

Tu się zgodzę. Jak programista umie z tego korzystać to zrobi więcej dobrej jakości roboty. Na pewno nie 2x, ale zauważalnie szybciej idzie praca. Samo pisanie kodu to

[felek-sdfsdf]

Najpierw AI kopiuje kod ze Stack Overflow a następnie piraci to do profesjonalnych projektów, bez nawet dostosowania i zdziwienie że kod jest słabej jakości.

[karer]

@felek-sdfsdf: bo celem modeli AI jest nie kopiowanie kodu, ale wlasnie wyuczenie ich jak wyglada dobry kod i czym sie rozni od zlego. Zeby tego nauczyc to trzeba model nauczyc dobrego kodu ale takze zlego kodu. Jesli AI nie nauczy sie zlego kodu, to nie bedzie wiedzial czego unikac.

[dobry-informatyg]

@felek-sdfsdf: to tak nie działa

[masz_fajne_donice]

Kod stworzony przez AI jest świetny do problemów akademickich.
"Napisz mi klasę rozszerzającą słownik o funkcjonalność xyz"
Bardzo słabo się sprawdza przy złożonej logice domenowej.

Mówię to na podstawie roku używania przez mój zespół po tym jak wdrożyłem maksymalne użycie AI do pisania kodu.
Świetnie się sprawdza przy pisaniu testów a dokładnie unit testów. Gorzej przy pisaniu testów E2E przy np gherkinie i reqnroll(specflow). Tu poległ.
Doskonale robi code review - wynajduje

[masz_fajne_donice]

@progressive: Może i nie jest. Tak wyglądają zazwyczaj zadania na studiach w czasie nauki, przynajmniej 15-20 lat temu.

[karer]

@progressive: tak rozmawiamy o nowych technologiach dlatego skoro juz zawezamy liste do osob ktore w spoleczenstwie sa wyjatkowo inteligentne, to mozna zadac pytanie ktore zadalem (w domysle jako teze) a na ktore nie odpowiedziales. Czyli moja tez jest taka, ze osoby ktore sa w stanie pracowac nad AGI nie maja interesu w tym zeby pracowac nad AGI.

[tubkas12]

Kod napisany przez AI z mojego doświadczenia jest o tyle problematyczny, że bardzo dobrze pozornie działa albo "dobrze wygląda", a później okazuje się że zawiera błędy a znalezienie i naprawienie tych błędów to mniej więcej czas w którym sam byś to zrobił. AI natomiast się dobrze sprawdza do snippetów, masz jeden mały problem i nie chce ci się siedzieć w dokumentacji wklejasz i sprawdzasz czy działa, jak działa to jest ok. Ale

[stroggoslaw]

@tubkas12: ja uwielbiam wykorzystywać ejaja do czytania za mnie (i tłumaczenia na nasze) wchuj długich logów (różnego pochodzenia)

[karer]

Jeśli "vibe codujesz" czyli nie wiesz jak coś zrobić i masz mgliste pojęcie jak coś powinno tak naprawdę działać to kiepsko to widzę.

@tubkas12: a to osoba ktora wie jak cos robic to juz nie moze byc vibe coderem? Wydawalo mi sie ze vibe coding to po prostu sposob wytwarzania oprogramowania ktore moze byc zajebistej jakosci jak rownierz gownianej jakosci w zaleznosci od jakosci vibe codera.

[bidzej]

I co w tym dziwnego, skoro AI jest tylko tak dobre, jak dane, na których się uczy?

[karer]

@bidzej: Nie do konca jest to prawidlowe w takiej formie jak napisales. Jest matematycznie dowiedzione ze AI moze rozwiazac kazdy problem ktory da sie opisac matematycznymi danymi, poprzez znalezienie najlepszego przybliczenia do rozwiazania perfekcyjnego. Czyli zamiast tego co napisales powinno sie napisac: "AI jest tylko tak dobre, jak najlepsze rozwiazanie znalezione w danych na ktorych sie uczy"