Wszystko

Najnowsze

Archiwum

FLAC
  • 2
#sztucznainteligencja #ai #llm #llama #qwen #nvidia #retrocomputing #starekomputery

Jako że Qwen wypuścił kilka małych modeli z rodziny 3.5 to zastanawiało jak stare GPU można jeszcze użyć do odpalenia tych LLMów ( ͡° ͜ʖ ͡°)

Na pierwszy strzał poszedł GTX Titan Black - najpotężniejsza dostępna wersja karty z generacji architektury Kepler - 2013 rok! 2880 rdzeni, 6 GB
FLAC - #sztucznainteligencja #ai #llm #llama #qwen #nvidia #retrocomputing #starekomp...

źródło: image

Pobierz
  • 14
  • Odpowiedz

  • Otrzymuj powiadomienia
    o nowych komentarzach
FLAC
FLAC
via Wykop
  • 1
No i nie samą nvidią świat żyje :-) Użycie uniwersalnych bibliotek pomoże innym wejść do gry (AMD, etc...) i obniżyć ceny na ten sprzęt...


@kwanty: no właśnie paradoksalnie wsparcie Vulkan w llama.cpp spowodowało że ceny AMD Mi 50 wystrzeliły w kosmos xD wersje 32 GB podrożały około 3x względem tego za ile można było je kupić przed szałem LLM i łatwym wsparciem Vulkana. RoCM już nie wspiera oficjalnie Mi50 więc
  • Odpowiedz
hrumque
  • 0
Radeon MI50 32GB (dziwnebo powinny mieć 16GB, a wersja 32 nazywałaby się mi60, ale nie ważne)
Dobre to do lokalnego AI będzie?
Jest sens kopać się z konfiguracjami by odpalić na 2kartach na raz? A tym bardziej - więcej kart? Bo to znacznie komplikuje dobór płyty gl... W ogóle czy przy używaniu AI na takim GPU ma znaczenie CPU? Bo jeśli nie, to są fajne płyty gl typowo koparkowe, z CPU śmieciowym
  • 2
  • Odpowiedz

  • Otrzymuj powiadomienia
    o nowych komentarzach
hrumque
hrumque
via Android
  • 0
@Pioter_Polanski ja się nie znam, żona mi zadała zadanie, że chce takie coś jak chatgpt i Stablediffusion, ale bez ograniczeń i lokalnie, do swoich celów i bez ryzyka że przetwarzane treści wypłyną gdzieś lub będą używane do trenowania publicznych modeli, na podstawie czego też treść pośrednio wypłynie.
  • Odpowiedz
SendMeAnAngel
  • 0
Próbuję innych modeli językowych i stwierdzam, że GPT słabo radzi sobie z redagowaniem tekstu w konkretnym stylu. Llama radzi sobie zupełnie lepiej. A może macie jakieś typy? Chcę zredagować tekst w stylu średniowiecznym. #chatgpt #ai #llama
  • 1
  • Odpowiedz

  • Otrzymuj powiadomienia
    o nowych komentarzach
once-ler
  • 13
Wczoraj zrobiłem coś tak głupiego, że postanowiłem z tego tytułu popełnić wpis i zastanawiam się, czy nie pobiłem jakiegoś rekordu.


Na początku bardzo lubię bawić się w odpalanie modeli językowych #ai lokalnie. Głównie dla zabawy, ale czasami pomagają mi one w pracy.
Bardzo się zajarałem jak zobaczyłem że #deepseek jest opensource i że można go pobrać. Szanuję swój główny sprzęt (już nie pierwszej nowości) na, tyle że zazwyczaj
once-ler - Wczoraj zrobiłem coś tak głupiego, że postanowiłem z tego tytułu popełnić ...

źródło: image (3)

Pobierz
  • 4
  • Odpowiedz

  • Otrzymuj powiadomienia
    o nowych komentarzach
smalczyk1
smalczyk1
  • 0
#csharp #ai #llama #openaai #python

Cześć mam pytanko do osób które ogarniają AI ?

Ogarniam c# w pracy a po godzinach chciałbym nauczyć się AI. Chciałbym skorzystać z darmowego modelu i nauczyć go odpowiadać ja pytanie jak ChatGPT tylko ma być skupiony na jednej fikcjonalności i opierać się na jednym typie danych.

Czy da radę to ogarnąć w c# czy lepiej od
  • 7
  • Odpowiedz

  • Otrzymuj powiadomienia
    o nowych komentarzach
smalczyk1
smalczyk1
  • 1
@zibizz1 chciałbym napisać generator bajek w oparciu o jakiś zbiór bajek.Tylko z tego co rozumiem to llama ma w modelu takie dane i potrafi wygenerować bajkę .Czy źle rozumiem? Chciałbym zrobić zapamiętywanie kontekstu że do bajki x ogarnie kolejne rozdziały pamiętając co się działo wcześniej.

W sumie jest coś już coś takiego novel.ai ale w ramach nauki chciałbym zrobić osobie jakiś projekt i nie wiem od czego zacząć.
  • Odpowiedz
aptitude
  • 0
Zapytałem BARTa które AI jest lepsze, ChatGPT, Llama czy sam Bart, odpowiedział mi naprawdę z dystansem sam do siebie.

https://g.co/bard/share/2bb783210783

To trudne pytanie, ponieważ wszystkie trzy modele są bardzo dobre w tym, co robią. ChatGPT jest dobry w generowaniu kreatywnych formatów tekstowych, takich jak wiersze, kod, skrypty, utwory muzyczne, e-maile, listy itp., podczas gdy Llama jest dobry w tłumaczeniu języków, a BART jest dobry w generowaniu różnego rodzaju kreatywnych formatów tekstowych i
aptitude - Zapytałem BARTa które AI jest lepsze, ChatGPT, Llama czy sam Bart, odpowie...

źródło: Screenshot 2023-09-01 at 09.05.49

Pobierz
  • Odpowiedz

  • Otrzymuj powiadomienia
    o nowych komentarzach

Powiązane tagi