L24D
L24D
Mam Ollamę postawioną na Windowsie, żeby modele ładnie używały GPU i CUDA, ale visual studio code uruchamiam z poziomu WSL bo mam basha i lepsze środowisko ogunie. Rzecz w tym że copilot w vscode odpalanym z wsl nie widzi modeli z ollamy. Gdy uruchamiam z poziomu Windowsa to widzi, ale jest niesmak.
Da się coś z tym zrobić czy lepiej żebym zapomniał o Windowsie i odpalił Archa?

#ai #ollama
0
  • Najlepsze
  • Wszystkie komentarze
armin-van-kutonger
WSL jest z-----y już na poziomie protokołów sieciowych innych niż http. Zanim zdebugujesz dlaczego coś odpalone na WSL nie widzi Ollamy na windowsie będziesz miał już postawione środowisko na linuxie.
@L24D:
2
L24D
L24D
L24D Autor
@armin-van-kutonger: i tu Cię zaskoczę

Mam postawione od pół roku xD
Może nie ma co kopać się z koniem, słusznie gadasz
1
kermirz
kermirz
Mirki, mam pytanie, dosc czesto w pracy korzystam z #chatgpt i ostatnio odkrylem ze mozna odpalic #codex w powershellu na windowsie. Fajnie to dziala (w pracy czesto robie jakies skrypty do google sheet), wiec zaczalem sie zastanawiac czy mozna odpalic cos lokalnie na moim #macbook m1 (wersja 16/512) aby nie zuzywac firmowych tokenow (bo ostatnio mnie scigaja). Odkrylem ze jest cos takiego jak #ollama
0
  • Najlepsze
  • Wszystkie komentarze
makrofag74
Możesz nieduże modele 3B, 8B, 14B, a może i 30B odpalić na Ollama. (ale multimedialnie słaba) Jest też LM Studio (sporo ustawień można łatwo zmieniać, ale kobyła). Z powodu braku mocnego GPU ja odpalam lama.cpp w przeglądarce.
https://github.com/ggml-org/llama.cpp

robię to tak: przechodzę do katalogu z lama.cpp i tam mam modele*.gguf, potem wklejam całość w CMD
(mmproj dopinasz model np.wizyjny)

llama-server
0
kermirz
kermirz
@makrofag74: nie do konca rozumiem, odpalilem llama app (strone), odpalilem to w terminalu "curl -LsSf https://llama.app/install.sh | sh", pozniej nie wiem co mam zrobic :D
0
makrofag74
3
  • Najlepsze
  • Wszystkie komentarze
makrofag74
Nie wiem czy ja dobrze widzę, że gościu wycisnął 18 tok/s dla Qwen3.6:35b mając VRAM 2GB i 32GB RAM.
0
Szala
Szala
@makrofag74: przy krótkim kontekście i modelach moe tak. Jakby zrobił test z 32k+ to miałby 4-5 t/s. Kiedyś to testowałem jak dobrze pamiętam wyniki to właśnie było coś takiego. Przy cenie pamięci RAM, można lepiej rozwazyc Intel b70 albo 9060xt/5060ti 16gb I zostawić ekspertów w vram, a inne części w systemowym ram.

Teraz walczę z vllm ale wyniki są obiecujące.
0
K-S-
Co ciekawego robicie na #ollama bo zainstalowałem i w szukam zastosowania ¯\(ツ)/¯

Komputer taki przeciętny, i5 8600, 8gb ram

#ai #programowanie
0
  • Najlepsze
  • Wszystkie komentarze
zimowyporanek
@K-S-: To za słaby na cokolwiek. Głupie generowanie białych michuw w dobrej jakości, zajmuje u mnie pół minuty, a mam kompa a 2024r.
0
makrofag74
@K-S-: Posadź sobie hf.co/unsloth/medgemma-1.5-4b-it-GGUF i masz małego znachora. Obrazki medyczne da się analizować.
0
aptitude
Próbuje napisać "Smart Notes" tak aby wszystko co zapisze ma w idealnym momencie mie powiadomic o tym i zawsze widzieć co aktualnie musze zrobić.

Ale model gemma3 nadała kupienie "teraz" mleka, przyznała prorytek "someday" kiedyś tam xD w sumie to aż zabawne :P

sorry, to była "llama3.2" nie gemma3. musze zapisywać wybór w localstorage :x a te taski w indexedb

#ciekawostki #sztucznainteligencja #programowanie #ollama
0
  • Najlepsze
  • Wszystkie komentarze
aptitude
Tworząc "infinity" grę gdzie cały scenariusz generuje tylko AI, to może zły pomysł, bo nie ma końca gry no i w sumie to wciąga zaczynałem jako pracownik w roku 2077, teraz zniszczyłem całą ziemie i zaczynam tworzyć własne organizmy, zero ludzi!

troche przypomina mi to odcinek z Fringe o_o
#ollama #fringe
0
aptitude
lol, właśnie wkreciłem się w swoją własną grę xD

#ollama
0
aptitude
Zakochałem się, używam od kilku dni gemma3n:e4b i nie mogę wyjść z podziwu jak szybko to działa, dosłownie prawie jak bym z Claude rozmawiał.
https://ollama.com/library/gemma3n

Pytanie, czy nadal potrzebujemy płatnych APIs do AI? Zdecydowanie tak, nie oszukujmy się, ale za pomocą Claude Code nie zrobie tego za pomocą ollamacode, w sumie to jedyna rozsąda alternatywa do claude code, tylko teraz claude code nawet pokazuje ile bash procesów ma AI uruchomione, co jest
1
  • Najlepsze
  • Wszystkie komentarze
aptitude
Wiecie co jest dość zabawne?
Ja dość często korzystam z ollama, czyli lokalny ChatGPT, ale co mnie najbardziej przeraża, to że posiada wiedzę z całego internetu, nawet jak zapytam aby podał mi np. link do react markdown to podaje nie tylko do github ale też npmjs i nawet działa, czyli, mam całą wiedzę z internetu na swoim PC?!

#sztucznainteligencja #ollama
0
  • Najlepsze
  • Wszystkie komentarze
D.....b
Pytanie do specjalistów :)
Zdarza mi się czasami korzystać z #copilot albo #gemini. Głównie dlatego, że nie muszę za to płacić. Ale pomyślałem, czy by może nie wykorzystać stojącego serwera, żeby postawić sobie coś lokalnie.
Do dyspozycji mam komputer z i3-12100 i 32GB ramu. Wygląda na to, że powinienem do tego dokupić GPU. Tylko jakie (tanie :))? I czy faktycznie jest to niezbędne?

Kolejna sprawa - czy
0
  • Najlepsze
  • Wszystkie komentarze
makrofag74
#ai #sztucznainteligencja #ollama #llm #deepresearch

Ollama Deep Research to alternatywa open-source dla OpenAI Deep Researcher.[ENG]
https://apidog.com/blog/ollama-deep-research/
0
r3ap3r
Za dużo destylatu
#ollama #llm #deepseek #deepseekr1
0
once-ler
Wczoraj zrobiłem coś tak głupiego, że postanowiłem z tego tytułu popełnić wpis i zastanawiam się, czy nie pobiłem jakiegoś rekordu.


Na początku bardzo lubię bawić się w odpalanie modeli językowych #ai lokalnie. Głównie dla zabawy, ale czasami pomagają mi one w pracy.
Bardzo się zajarałem jak zobaczyłem że #deepseek jest opensource i że można go pobrać. Szanuję swój główny sprzęt (już nie pierwszej nowości) na, tyle że zazwyczaj
13
  • Najlepsze
  • Wszystkie komentarze
JamesJoyce
#naukaprogramowania #programowanie#programista15k #it #sztucznainteligencja #ollama

Jeszcze jedna rzecz odnośnie Ollamy. Poniżej świetne wprowadzenie dla kompletnych nowicjuszy. Polecam, można się sporo dowiedzieć, relatywnie szybko i bezproblemowo.

https://blog.cubed.run/llm-zero-to-hero-with-ollama-913e50d6b7f0
3
JamesJoyce
#it #programowanie #programista15k #sztucznainteligencja #chatgpt #ollama

Fajny artykuł wyjaśniający tool calling w Ollamie. Tool calling to mechanizm zwiększania funkcjonalność modeli AI, takich jak LLMy, poprzez umożliwienie im interakcji z zewnętrznymi narzędziami, interfejsami API lub systemami podczas rozmowy. Polecam do kawki.

https://medium.com/@danushidk507/ollama-tool-calling-8e399b2a17a8
2
  • Najlepsze
  • Wszystkie komentarze
r3ap3r
Jestem pod wrażeniem możliwości jakie daje AI, a tworzenie aplikacji bez znajomości programowania to dla mnie game changer. Niestety tam nie ma prywatności i chciałbym działać lokalnie, a do tego mój Thikpad się nie nadaje i potrzebuję kąkuter. Budżet to maks 7500 zł (już dwukrotnie podniesiony i napięty jak guma w majtach).

Pierwotnie chciałem wziąć Ryzen 5 na AM4 z RTX 3090 Ti 24GB, ale nie mam pewności jak korzystano z takiej katy
0
  • Najlepsze
  • Wszystkie komentarze

Powiązane tagi