Wszystko

Najnowsze

Archiwum

L24D
L24D
  • 0
Mam Ollamę postawioną na Windowsie, żeby modele ładnie używały GPU i CUDA, ale visual studio code uruchamiam z poziomu WSL bo mam basha i lepsze środowisko ogunie. Rzecz w tym że copilot w vscode odpalanym z wsl nie widzi modeli z ollamy. Gdy uruchamiam z poziomu Windowsa to widzi, ale jest niesmak.
Da się coś z tym zrobić czy lepiej żebym zapomniał o Windowsie i odpalił Archa?

#ai #ollama
  • 7
  • Odpowiedz

  • Otrzymuj powiadomienia
    o nowych komentarzach
kermirz
kermirz
  • 0
Mirki, mam pytanie, dosc czesto w pracy korzystam z #chatgpt i ostatnio odkrylem ze mozna odpalic #codex w powershellu na windowsie. Fajnie to dziala (w pracy czesto robie jakies skrypty do google sheet), wiec zaczalem sie zastanawiac czy mozna odpalic cos lokalnie na moim #macbook m1 (wersja 16/512) aby nie zuzywac firmowych tokenow (bo ostatnio mnie scigaja). Odkrylem ze jest cos takiego jak #ollama
  • 8
  • Odpowiedz

  • Otrzymuj powiadomienia
    o nowych komentarzach
SeRnity
SeRnity
  • 0
@kermirz:na w miarę dobrym kompie próbowałem odpalać te lokalne i słabo. Są głupie, typu pytasz ile zna języków i wypisze 10x10 te same, po czym zadasz pytanie w innym i okazuje się że go też zna.
Minimalnie lepiej zadziałalo to na telefonie, niestety albo Ai, albo reszta więc też słabo.

Pewnie najlepiej byłoby mieć swój "model" tj. odchudzić go z języków których nigdy nie użyjesz itd. i mieć jakiś wpływ
  • Odpowiedz
kwanty
  • 0
@Szala: Jak testujesz szybkość vllm'a? Postawiłem na małym clustrze, działa i teraz chcę to jakoś sprofilować żeby zobaczyć przy jakich ustawieniach jest optimum.
  • Odpowiedz
fervi
  • 0
Teraz walczę z vllm ale wyniki są obiecujące.


@Szala: No jak na stary sprzęt to wyniki są obiecujące, a tak poza tym to meh
  • Odpowiedz
aptitude
  • 0
Próbuje napisać "Smart Notes" tak aby wszystko co zapisze ma w idealnym momencie mie powiadomic o tym i zawsze widzieć co aktualnie musze zrobić.

Ale model gemma3 nadała kupienie "teraz" mleka, przyznała prorytek "someday" kiedyś tam xD w sumie to aż zabawne :P

sorry, to była "llama3.2" nie gemma3. musze zapisywać wybór w localstorage :x a te taski w indexedb

#ciekawostki #sztucznainteligencja #programowanie #ollama
aptitude - Próbuje napisać "Smart Notes" tak aby wszystko co zapisze ma w idealnym mo...

źródło: he

Pobierz
  • 1
  • Odpowiedz

  • Otrzymuj powiadomienia
    o nowych komentarzach
aptitude
  • 0
Tworząc "infinity" grę gdzie cały scenariusz generuje tylko AI, to może zły pomysł, bo nie ma końca gry no i w sumie to wciąga zaczynałem jako pracownik w roku 2077, teraz zniszczyłem całą ziemie i zaczynam tworzyć własne organizmy, zero ludzi!

troche przypomina mi to odcinek z Fringe o_o
#ollama #fringe
aptitude - Tworząc "infinity" grę gdzie cały scenariusz generuje tylko AI, to może zł...

źródło: a3

Pobierz
  • Odpowiedz

  • Otrzymuj powiadomienia
    o nowych komentarzach
aptitude
  • 1
Zakochałem się, używam od kilku dni gemma3n:e4b i nie mogę wyjść z podziwu jak szybko to działa, dosłownie prawie jak bym z Claude rozmawiał.
https://ollama.com/library/gemma3n

Pytanie, czy nadal potrzebujemy płatnych APIs do AI? Zdecydowanie tak, nie oszukujmy się, ale za pomocą Claude Code nie zrobie tego za pomocą ollamacode, w sumie to jedyna rozsąda alternatywa do claude code, tylko teraz claude code nawet pokazuje ile bash procesów ma AI uruchomione, co jest
  • 1
  • Odpowiedz

  • Otrzymuj powiadomienia
    o nowych komentarzach
aptitude
  • 0
Wiecie co jest dość zabawne?
Ja dość często korzystam z ollama, czyli lokalny ChatGPT, ale co mnie najbardziej przeraża, to że posiada wiedzę z całego internetu, nawet jak zapytam aby podał mi np. link do react markdown to podaje nie tylko do github ale też npmjs i nawet działa, czyli, mam całą wiedzę z internetu na swoim PC?!

#sztucznainteligencja #ollama
  • 1
  • Odpowiedz

  • Otrzymuj powiadomienia
    o nowych komentarzach
D.....b
  • 0
Pytanie do specjalistów :)
Zdarza mi się czasami korzystać z #copilot albo #gemini. Głównie dlatego, że nie muszę za to płacić. Ale pomyślałem, czy by może nie wykorzystać stojącego serwera, żeby postawić sobie coś lokalnie.
Do dyspozycji mam komputer z i3-12100 i 32GB ramu. Wygląda na to, że powinienem do tego dokupić GPU. Tylko jakie (tanie :))? I czy faktycznie jest to niezbędne?

Kolejna sprawa - czy
  • 4
  • Odpowiedz

  • Otrzymuj powiadomienia
    o nowych komentarzach
BreathDeath
  • 1
@DziadLab: To jeżeli ollama Ci starcza to spoko. Ale może zainteresuj się Google? Mają darmowe API, musisz tylko obsłużyć rate limity i czasami są błędy, bo model jest przeciążony, ale to wyjątek złapiesz i elo. Ja sobie zrobiłem kolejkę i workera. Jak się nie uda to sleep na minutę i następnym razem już zazwyczaj jest ok. Google udostępnia API w formacie OpenAI, więc potem przełączenie na ollamę czy innego dostawcę
  • Odpowiedz
once-ler
  • 13
Wczoraj zrobiłem coś tak głupiego, że postanowiłem z tego tytułu popełnić wpis i zastanawiam się, czy nie pobiłem jakiegoś rekordu.


Na początku bardzo lubię bawić się w odpalanie modeli językowych #ai lokalnie. Głównie dla zabawy, ale czasami pomagają mi one w pracy.
Bardzo się zajarałem jak zobaczyłem że #deepseek jest opensource i że można go pobrać. Szanuję swój główny sprzęt (już nie pierwszej nowości) na, tyle że zazwyczaj
once-ler - Wczoraj zrobiłem coś tak głupiego, że postanowiłem z tego tytułu popełnić ...

źródło: image (3)

Pobierz
  • 4
  • Odpowiedz

  • Otrzymuj powiadomienia
    o nowych komentarzach
JamesJoyce
  • 2
#it #programowanie #programista15k #sztucznainteligencja #chatgpt #ollama

Fajny artykuł wyjaśniający tool calling w Ollamie. Tool calling to mechanizm zwiększania funkcjonalność modeli AI, takich jak LLMy, poprzez umożliwienie im interakcji z zewnętrznymi narzędziami, interfejsami API lub systemami podczas rozmowy. Polecam do kawki.

https://medium.com/@danushidk507/ollama-tool-calling-8e399b2a17a8
  • 4
  • Odpowiedz

  • Otrzymuj powiadomienia
    o nowych komentarzach
JamesJoyce
  • 1
@CzarnoksieznikJanusz: Tak. Moim zdaniem jest to znacznie szersze niż RAG, który skupia się najczęściej na dokumentach. Tutaj łączymy się np z api yfinance, czyli Yahoo Finance i np. pobieramy ceny jakiś akcji z zewnętrznego api.

prompt = 'What is the current stock price of Apple?'
print('Prompt:', prompt)
  • Odpowiedz
r3ap3r
  • 0
Jestem pod wrażeniem możliwości jakie daje AI, a tworzenie aplikacji bez znajomości programowania to dla mnie game changer. Niestety tam nie ma prywatności i chciałbym działać lokalnie, a do tego mój Thikpad się nie nadaje i potrzebuję kąkuter. Budżet to maks 7500 zł (już dwukrotnie podniesiony i napięty jak guma w majtach).

Pierwotnie chciałem wziąć Ryzen 5 na AM4 z RTX 3090 Ti 24GB, ale nie mam pewności jak korzystano z takiej katy
  • 3
  • Odpowiedz

  • Otrzymuj powiadomienia
    o nowych komentarzach
majk3l
  • 1
@r3ap3r no po pierwsze skoro do pracy to weź chociaż ryzena 7 7700. Cena niemal taka sama.

Resztę też da się porównywalnie, a dużo taniej. W tym celu wystarczy kupić u mnie :-) #majk3lskladapcty

Wydajesz się zdecydowany na te komponenty i wygląda mi to generalnie na wporzo! To tylko takie kosmetyczne uwagi.
  • Odpowiedz

Powiązane tagi