[DziadLab]

Pytanie do specjalistów :)
Zdarza mi się czasami korzystać z #copilot albo #gemini. Głównie dlatego, że nie muszę za to płacić. Ale pomyślałem, czy by może nie wykorzystać stojącego serwera, żeby postawić sobie coś lokalnie.
Do dyspozycji mam komputer z i3-12100 i 32GB ramu. Wygląda na to, że powinienem do tego dokupić GPU. Tylko jakie (tanie :))? I czy faktycznie jest to niezbędne?

Kolejna sprawa - czy to ma w ogóle sens? Czy poza tym, że będzie lokalnie to będzie takie rozwiązanie miało jakieś zalety w stosunku do gotowych rozwiązań?

#ai #openai #ollama

[BreathDeath]

@DziadLab: Do czego korzystaasz? Jak przez API i Ci się nie śpieszy to spoko. Ja używam lokalnego modelu do klasyfikacji. Potem wrzucam już do API. Jak masz copilota albo gemini i wykorzystujesz przez przeglądarkę jako chat to lokanie nie ma sensu moim zdaniem. Sens jest jak potrzebujesz API, bo te są płatne zawsze z tego co pamiętam (oprócz google).

[DziadLab]

@BreathDeath: Głównie korzystam z chat. Ale właśnie chciałem pokombinować z zaprzęgnięciem API do pracy. Na razie wykorzystuję API ollama do klasyfikacji linków dodawanych do karakeep, ale zastanawiam się czy nie zrobić czegoś więcej.

[BreathDeath]

@DziadLab: To jeżeli ollama Ci starcza to spoko. Ale może zainteresuj się Google? Mają darmowe API, musisz tylko obsłużyć rate limity i czasami są błędy, bo model jest przeciążony, ale to wyjątek złapiesz i elo. Ja sobie zrobiłem kolejkę i workera. Jak się nie uda to sleep na minutę i następnym razem już zazwyczaj jest ok. Google udostępnia API w formacie OpenAI, więc potem przełączenie na ollamę czy innego dostawcę

[DziadLab]

@BreathDeath: A dziękuję, sprawdzę