Ostatnio w ramach jednego z zadań w firmie, sprawdzałem możliwości użycia AI do komentowania kodu. Po researchu wyszło mi:
95% Ai toolów jest opartych na wraperze openAI (takie to sam mógłbym stworzyć XD), oczywiście wersji demo nie ma. Musisz zapłacić (około 15)
5% jakieś modele własne. Tak przynajmniej twierdzili. Jeden z nich można było odpalać na własnym kompie ale nie mam na nim pythona, więc nie wiem jak dobre. Przetestowałem docfify i
95% Ai toolów jest opartych na wraperze openAI (takie to sam mógłbym stworzyć XD), oczywiście wersji demo nie ma. Musisz zapłacić (około 15)
5% jakieś modele własne. Tak przynajmniej twierdzili. Jeden z nich można było odpalać na własnym kompie ale nie mam na nim pythona, więc nie wiem jak dobre. Przetestowałem docfify i
NVIDIA stworzyła program, który potrafi analizować filmiki youtube, pliki tekstowe w tym pdf przy zachowaniu pełnej prywatności! Wszystko na twoim komputerze offline!
---
Ollama, GPT4ALL, LM Studio, Jan i in. - to ciekawe programiki do uruchomienia LLM lokalnie, niektóre są potężne dla developerów. Co ze zwykłymi użytkownikami? To co stworzyło NVIDIA przewyższa pod tym względem wszystkie powyższe!
https://www.nvidia.com/en-us/ai-on-rtx/chat-with-rtx-generative-ai/
Wyciąganie informacji z
GPU: at least 8GB of VRAM, NVIDIA GeForce™ RTX 30 or 40 Series GPU or NVIDIA RTX™ Ampere or Ada Generation GPU
RAM: 16GB or greater