Aktywne Wpisy
PanZbigniew +1288
Update do tego wpisu
Na początku chciałbym naprawdę podziękować za tak duży odzew w tamtym wpisie. Na początku miałem obawy co do tego wpisu, że zostanie z góry uznany za bait, albo że komentarze będą nakierowane na to, że jestem cienka betaparówa, sam sobie taki los zaserwowałem itp.
Gdy myślałem, że zostanę z tym wszystkim sam i w sumie post wrzuciłem z desperacji to okazało się, że otrzymałem naprawdę dziesiątki pozytywnych odpowiedzi w komentarzach
Na początku chciałbym naprawdę podziękować za tak duży odzew w tamtym wpisie. Na początku miałem obawy co do tego wpisu, że zostanie z góry uznany za bait, albo że komentarze będą nakierowane na to, że jestem cienka betaparówa, sam sobie taki los zaserwowałem itp.
Gdy myślałem, że zostanę z tym wszystkim sam i w sumie post wrzuciłem z desperacji to okazało się, że otrzymałem naprawdę dziesiątki pozytywnych odpowiedzi w komentarzach
marcelus +225
Nie macie wrażenia, że ludzie zluzowali z petardami w #sylwester?
Pamiętam jeszcze parę lat temu, strzelanie zaczynało się zaraz po zmroku, o północy po prostu się wzmacniało, dużo ludzi strzelało jeszcze w Nowy Rok. A w tym roku przed 12 słyszałem dosłownie pojedyncze strzały, jeszcze mniej w Nowy Rok. Czyżby naród zaczął mądrzeć?
#kiciochpyta #polska lska
Pamiętam jeszcze parę lat temu, strzelanie zaczynało się zaraz po zmroku, o północy po prostu się wzmacniało, dużo ludzi strzelało jeszcze w Nowy Rok. A w tym roku przed 12 słyszałem dosłownie pojedyncze strzały, jeszcze mniej w Nowy Rok. Czyżby naród zaczął mądrzeć?
#kiciochpyta #polska lska
Aktywne Znaleziska
Robiliśmy niedawno projekt, w którym model okazał się trochę za duży do deployu, na jakiejś starej platformie. Uzyskiwanie wyników klasyfikacji przez userów trwało zwyczajnie za długo.
Skonwertowaliśmy więc dla testu znacznie mniejszy (6linijek kodu) model i przepisaliśmy go na c++. Wrzuciliśmy na platformę obydwa, python i c++. Efekt? Różnica w szybkości c++ kolosalna. Niemal real time.
Pisał o tym Andriy Burkov, tylko on konwertował Pythona na c:
Napisałem klasę w Pythonie, aby wykonać intensywne przetwarzanie dużego korpusu tekstu. Upewniłem się, że działa zgodnie z oczekiwaniami. Potem poprosiłem Claude'a, aby przepisał moją klasę w C (język, którego nie znam) i wyjaśnił, jak ją uruchomić.
Wynik: Czas przetwarzania Pythona: 63 minuty. Czas przetwarzania C: 2,3 minuty. To jest przyszłość dla oszczędności kosztów produkcji.
Procedura działania wg. Burkova
1. Use LLM to write Python.
2. Debug and fix Python.
3. Use LLM to generate unit tests for Python.
4. Make sure all unit tests pass.
5. Use LLM in a separate call to rewrite unit test from Python to C.
6. While true:
6.1 Use LLM to rewrite Python to C.
6.2 If C passes all unit tests, break.
7. Compile C for prod, deploy.
Dla obecnego klienta nie możemy konwertować kodu w llmie, więc ta opcja odpada, nie przekażemy całego modelu na c++, ale patrząc szerzej brzmi bardzo ciekawie. Zwlaszacza, gdy llmy będą lepsze w pisaniu i konwertowaniu kodu.
@JamesJoyce: Swietny sposob na uzyskanie kodu co do ktorego masz zerowa pewnosc, ze
1. Co do pewności i jakości kodu, to niestety nie zgadzam się. Wiadomo, zależy od zadania. Ale posługując się dobrze
W przykładzie Burkova nie chodziło o cały program. Ja też o nim nie myślę. Myślę, że tego nie napisałem jasno. Jemu (mam nadzieję) i mnie chodzi o coś, co jest znane (w kontekście ai). Różnią się jedynie dane i pewne zmienne w parametrach, czy preprocessingu danych wejściowych. Problemem
@JamesJoyce: Wiele osob tak pisze, ale jak dotad nie widzialem dowodu ( ͡° ͜ʖ ͡°)
@proteina_sin_huevos: wątpie, że grall osiągnie wydajność porównywalną z C. Problemem są struktury danych. Co z tego, że grall ogarnie super optymalizacje do jakiejś pętli jak pod spodem i tak będą wołane wolne operacje na listach, gdzie każdy element jest dynamiczny.
Szybkie języki nie koniecznie są szybkie dlatego, że mają dobry JIT/optymalizacje tylko dlatego, że design języka naturalnie wymusza na tobie pisanie optymalnego kodu. Tak samo jest
Stwierdzenie niepoparte