FLAC
#sztucznainteligencja #ai #llm #llama #qwen #nvidia #retrocomputing #starekomputery

Jako że Qwen wypuścił kilka małych modeli z rodziny 3.5 to zastanawiało jak stare GPU można jeszcze użyć do odpalenia tych LLMów ( ͡° ͜ʖ ͡°)

Na pierwszy strzał poszedł GTX Titan Black - najpotężniejsza dostępna wersja karty z generacji architektury Kepler - 2013 rok! 2880 rdzeni, 6 GB
2
  • Najlepsze
  • Wszystkie komentarze
FLAC
@FLAC: wydajnościowo tak wygląda generacja dla różnych modeli
1
FLAC
Promp processing dla dłuższego tekstu (początek pana tadeusza)
1
hrumque
Radeon MI50 32GB (dziwnebo powinny mieć 16GB, a wersja 32 nazywałaby się mi60, ale nie ważne)
Dobre to do lokalnego AI będzie?
Jest sens kopać się z konfiguracjami by odpalić na 2kartach na raz? A tym bardziej - więcej kart? Bo to znacznie komplikuje dobór płyty gl... W ogóle czy przy używaniu AI na takim GPU ma znaczenie CPU? Bo jeśli nie, to są fajne płyty gl typowo koparkowe, z CPU śmieciowym
0
  • Najlepsze
  • Wszystkie komentarze
Pioter_Polanski
@hrumque: do gołych bab czy czegoś więcej?
0
hrumque
@Pioter_Polanski ja się nie znam, żona mi zadała zadanie, że chce takie coś jak chatgpt i Stablediffusion, ale bez ograniczeń i lokalnie, do swoich celów i bez ryzyka że przetwarzane treści wypłyną gdzieś lub będą używane do trenowania publicznych modeli, na podstawie czego też treść pośrednio wypłynie.
0
SendMeAnAngel
Próbuję innych modeli językowych i stwierdzam, że GPT słabo radzi sobie z redagowaniem tekstu w konkretnym stylu. Llama radzi sobie zupełnie lepiej. A może macie jakieś typy? Chcę zredagować tekst w stylu średniowiecznym. #chatgpt #ai #llama
0
  • Najlepsze
  • Wszystkie komentarze
elementarz1
@SendMeAnAngel: co znaczy zupełnie lepiej? czemu nie może być po prostu dobrze? a może jest więcej niz dużo lepiej, ale jeszcze nie dobrze
0
zmarnowany_czas
zmarnowany_czas
Treść przeznaczona dla osób powyżej 18 roku życia...
6
  • Najlepsze
  • Wszystkie komentarze
Nieszkodnik
Nieszkodnik
Podójne standardy.


@zmarnowany_czas: duży może więcej, nie znałeś tego?
0
JestemZmarnowanymZyciemJacka
@zmarnowany_czas: Żeby to był ich jedyny grzeszek
0
once-ler
Wczoraj zrobiłem coś tak głupiego, że postanowiłem z tego tytułu popełnić wpis i zastanawiam się, czy nie pobiłem jakiegoś rekordu.


Na początku bardzo lubię bawić się w odpalanie modeli językowych #ai lokalnie. Głównie dla zabawy, ale czasami pomagają mi one w pracy.
Bardzo się zajarałem jak zobaczyłem że #deepseek jest opensource i że można go pobrać. Szanuję swój główny sprzęt (już nie pierwszej nowości) na, tyle że zazwyczaj
13
  • Najlepsze
  • Wszystkie komentarze
smalczyk1
smalczyk1
#csharp #ai #llama #openaai #python

Cześć mam pytanko do osób które ogarniają AI ?

Ogarniam c# w pracy a po godzinach chciałbym nauczyć się AI. Chciałbym skorzystać z darmowego modelu i nauczyć go odpowiadać ja pytanie jak ChatGPT tylko ma być skupiony na jednej fikcjonalności i opierać się na jednym typie danych.

Czy da radę to ogarnąć w c# czy lepiej od
0
  • Najlepsze
  • Wszystkie komentarze
Rabusek
Idzie ktoś na #llama longue w #siliconvalley dzisiaj? ( ͡° ͜ʖ ͡°)

#ai
2
Luk_1mex
Treść przeznaczona dla osób powyżej 18 roku życia...
1
  • Najlepsze
  • Wszystkie komentarze
aptitude
Zapytałem BARTa które AI jest lepsze, ChatGPT, Llama czy sam Bart, odpowiedział mi naprawdę z dystansem sam do siebie.

https://g.co/bard/share/2bb783210783

To trudne pytanie, ponieważ wszystkie trzy modele są bardzo dobre w tym, co robią. ChatGPT jest dobry w generowaniu kreatywnych formatów tekstowych, takich jak wiersze, kod, skrypty, utwory muzyczne, e-maile, listy itp., podczas gdy Llama jest dobry w tłumaczeniu języków, a BART jest dobry w generowaniu różnego rodzaju kreatywnych formatów tekstowych i
0
Rabusek
Ma ktoś pełen model #llama #meta #facebook?

Podobno wyciekł pare dni temu na #4chan, 220gb

#ai
0

Powiązane tagi