Ostatnio w ramach jednego z zadań w firmie, sprawdzałem możliwości użycia AI do komentowania kodu. Po researchu wyszło mi: 95% Ai toolów jest opartych na wraperze openAI (takie to sam mógłbym stworzyć XD), oczywiście wersji demo nie ma. Musisz zapłacić (około 15) 5% jakieś modele własne. Tak przynajmniej twierdzili. Jeden z nich można było odpalać na własnym kompie ale nie mam na nim pythona, więc nie wiem jak dobre. Przetestowałem docfify i po 3 próbach stwierdziłem ale to jest KUPA. Raz mi powiedziało, że potrzebuje googleTag ta funkcja (wut xD), innym razem zwraca ze funkcja string (#!$%@? ze coś tam modyfikuje) a ostatnim, że "wydaje mu się że to JS, ale składnia to C++ (składnia orginalna)"
Narzędzie typu Copilot uniknąłem, gdyż nie ma zgody w firmie na użycie ich a raz nikt nie wierzy że też działa tak "offline"
Ale... być może za X lat społeczność wytworzy własny model LLM który będzie potrafił zczytać i zrozumieć kod i potem odpowiednio skomentować. Który będzie otwartym żródłem i będzie można postawić na swojej infrastrukturze. Niestety patrząc jak duże koszty nakładu pracy i pieniędzy to kosztuje, że owy sen nigdy się nie spędzi.
@MilionoweMultikonto: U nas #!$%@? konfiguracja kompów służbowych , nie wnikaj. @hoog Czemu #!$%@?ęta?
Są już takie, tylko potrzebujesz np. 2x RTX 4090 z 24gb vramu każdy. Licząc koszty prądu, czas poświęcony na babranie się z własnym setupem i amortyzację sprzętu jest to dalece nieopłacalne
A kojarzysz nazwy? Google ostatnio to straszny syf jeżeli chodzi o research.
@ShiroUmizake: tylko powtórzę jeszcze raz - wątpliwe żebyś miał hardware, który to uciągnie. Ja mam maczka m1 max 32gb ramu i jak tylko wgram naewt nie jakiś zaawansowany LLM to cały UI zamarza
@hooog: Czyli pewnie trzeba by z 2-4x RTX 3900 mieć. Jesteś w stanie podrzucić jakiś poradnik / url cokolwiek jak takie coś zrobić? Zainteresowałeś mnie.
Ale... być może za X lat społeczność wytworzy własny model LLM który będzie potrafił zczytać i zrozumieć kod i potem odpowiednio skomentować. Który będzie otwartym żródłem i będzie można postawić na swojej infrastrukturze. Niestety patrząc jak duże koszty nakładu pracy i pieniędzy to kosztuje, że owy sen nigdy się nie spędzi.
@ShiroUmizake: Nie wierzę w to z prostego powodu - inteligentne modele muszą być absurdalnie duże i firm nie będzie stać
@ShiroUmizake: I ogólnie open source to zwykły dawca organów dla korporacji niestety. Dlatego jestem fanem licencji GPL-3 bo jak firmy używają twoich bibliotek i rozwiązań to wiadomo, że złamią licencję a jeśli kiedyś będzie wyciek to przynajmniej można próbować ich pozwać.
Nawet właśnie OpenAI, to miała być fundacja która miała stworzyć jak sama nazwa wskazuje otwarte AI a wyszło jak zwykle xd
@janciopan: poczytaj se lepiej bloga openAI i to jak odpowiedzieli na oskarżenia Muska, że to "miała być fundacja"
Musk od początku chciał kosić na tym siano, a o fundacji zaczął ględzić jak się okazało że openAI wystrzeliło bez niego. Po prostu pluje sobie w brode, że nie zainwestował w nich i penga mu uciekła sprzed nosa
@janciopan: trenowanie gargantuicznych LLMow na pewno jeszcze długo będzie dostępne tylko dla korpo. Ale już fine-tuning, embedding i inferencja jest do ogarnięcia na lokalnym hardwarze z modelami na poziomie GPT 3.5. Wiadomo że wolniej niż w chumra, ale to co najważniejsze w copilocie czyli inferencja śmiga elegancko
@janciopan: Nie wierze ze korporacje nie pokuszą się. Przecież po latach wyszło że Siri była uczona na romowach telefonicznych (ba nawet polityków xD), jakaś aplikacja do nauki języka była uczona przez aplikację fundacji która miała rozpoznawać depresję na podstawie analizy głosu. Takich pewnie przypadków jest więcej. Pamiętaj, że taka też firma będzie mogła decydować czy ty jej się podobasz albo nie. I odciąć Cię od usługi i co wtedy. Plus zgodzę
wątpliwe żebyś miał hardware, który to uciągnie. Ja mam maczka m1 max 32gb ramu i jak tylko wgram naewt nie jakiś zaawansowany LLM to cały UI zamarza
@hooog: To raczej wina pobugowanej wtyczki, na słabym sprzęcie 16gb ram bez gpu, 4 gen cpu intela śmigają różne modele np. mistral 7B (Nous-Hermes2) w programie https://gpt4all.io/index.html Oczywiście nie ma integracji z vscode, ale można przetestować jak to działa, i model rusza bez problemu,
być może za X lat społeczność wytworzy własny model LLM który będzie potrafił zczytać i zrozumieć kod i potem odpowiednio skomentować
@ShiroUmizake: Już jest: https://www.deepseek.com/ Tutaj masz leaderboarda: https://evalplus.github.io/leaderboard.html niby miejsce 4, ale wynik mocno przebija GPT-4 sprzed kilku miesięcy. Masz API, albo możesz sobie sam postawić. Sam w pracy używam PyCharma z ich asystentem AI i robi refactor kodu, dokumentację czy nowe funkcje, tak, że później poprawiam kilka szczegółów i
A robiles sobie moze jakies testy RAG albo fine-tuning we wlasnym zakresie?
@hooog: Ja zielony w temacie, ale mnie zaciekawiłeś. Zapytałem Opusa o czym w ogóle mowa, i to jest naprawdę ciekawe. Do fine-tunningu przy modelu o małej ilości parametrów i niewielkiej ilości danych, wystarczy 1-2 gpu z dużą ilością vram. Jakby pomyśleć, to można go nakarmić książkami i opracowaniami, dzięki czemu można szybciej zgłębić temat. Do tego duże projekty programistyczne,
95% Ai toolów jest opartych na wraperze openAI (takie to sam mógłbym stworzyć XD), oczywiście wersji demo nie ma. Musisz zapłacić (około 15)
5% jakieś modele własne. Tak przynajmniej twierdzili. Jeden z nich można było odpalać na własnym kompie ale nie mam na nim pythona, więc nie wiem jak dobre. Przetestowałem docfify i po 3 próbach stwierdziłem ale to jest KUPA. Raz mi powiedziało, że potrzebuje googleTag ta funkcja (wut xD), innym razem zwraca ze funkcja string (#!$%@? ze coś tam modyfikuje) a ostatnim, że "wydaje mu się że to JS, ale składnia to C++ (składnia orginalna)"
Narzędzie typu Copilot uniknąłem, gdyż nie ma zgody w firmie na użycie ich a raz nikt nie wierzy że też działa tak "offline"
Ale... być może za X lat społeczność wytworzy własny model LLM który będzie potrafił zczytać i zrozumieć kod i potem odpowiednio skomentować. Który będzie otwartym żródłem i będzie można postawić na swojej infrastrukturze. Niestety patrząc jak duże koszty nakładu pracy i pieniędzy to kosztuje, że owy sen nigdy się nie spędzi.
#it #programista15k #programowanie
To prawda
Firma pier-doln-ięta - katapultuj się
@ShiroUmizake: co?
@hoog Czemu #!$%@?ęta?
A kojarzysz nazwy? Google ostatnio to straszny syf jeżeli chodzi o research.
@hooog nie czaje do końca. to on wysyła requesty do copilota?
@ShiroUmizake: Nie wierzę w to z prostego powodu - inteligentne modele muszą być absurdalnie duże i firm nie będzie stać
Nawet właśnie OpenAI, to miała być fundacja która miała stworzyć jak sama nazwa wskazuje otwarte AI a wyszło jak zwykle xd
Open source is dead.
Musk od początku chciał kosić na tym siano, a o fundacji zaczął ględzić jak się okazało że openAI wystrzeliło bez niego. Po prostu pluje sobie w brode, że nie zainwestował w nich i penga mu uciekła sprzed nosa
@hooog: To raczej wina pobugowanej wtyczki, na słabym sprzęcie 16gb ram bez gpu, 4 gen cpu intela śmigają różne modele np. mistral 7B (Nous-Hermes2) w programie https://gpt4all.io/index.html Oczywiście nie ma integracji z vscode, ale można przetestować jak to działa, i model rusza bez problemu,
@ShiroUmizake: Już jest: https://www.deepseek.com/ Tutaj masz leaderboarda: https://evalplus.github.io/leaderboard.html niby miejsce 4, ale wynik mocno przebija GPT-4 sprzed kilku miesięcy. Masz API, albo możesz sobie sam postawić.
Sam w pracy używam PyCharma z ich asystentem AI i robi refactor kodu, dokumentację czy nowe funkcje, tak, że później poprawiam kilka szczegółów i
// Sets variable x to integer 5. The variable is named x.int x = 5;
( ͡° ͜ʖ ͡°)
A robiles sobie moze jakies testy RAG albo fine-tuning we wlasnym zakresie?
@hooog: Ja zielony w temacie, ale mnie zaciekawiłeś. Zapytałem Opusa o czym w ogóle mowa, i to jest naprawdę ciekawe. Do fine-tunningu przy modelu o małej ilości parametrów i niewielkiej ilości danych, wystarczy 1-2 gpu z dużą ilością vram. Jakby pomyśleć, to można go nakarmić książkami i opracowaniami, dzięki czemu można szybciej zgłębić temat. Do tego duże projekty programistyczne,