Wszystko

Najnowsze

Archiwum

tyrytyty
  • 1
@tyrytyty: tok myslenia:

Okay, so I need to figure out if a differentiable function f from R to R, with the derivative's absolute value less than 1 everywhere, must have a fixed point. A fixed point is where f(x) = x, right? Hmm, let me start by recalling some theorems related to fixed points.

Banach Fixed Point Theorem comes to mind, which states that a contraction mapping on a complete metric space
  • Odpowiedz
makrofag74
  • 1
@le1t00: Obrazek zawiera instrukcje dotyczące uruchomienia modelu uczenia maszynowego o nazwie „Deepseek R1” na komputerze. Model jest duży i wymaga potężnego GPU (karty graficznej) do wydajnej pracy.

Oblicza, ile warstw modelu można rozładować do GPU. (im więcej tym lepiej)
Oto, co oznacza każdy termin:

VRAM (GB): Pamięć dostępna na GPU (np. 24 GB lub
makrofag74 - @le1t00: Obrazek zawiera instrukcje dotyczące uruchomienia modelu uczeni...

źródło: RunningFULLDeepSeekR1671BLocally

Pobierz
  • Odpowiedz
cebulowyInwestor
cebulowyInwestor
  • 0
Bawi się tu ktoś lokalnie w LLMy?
Korzystam trochę z ChatGPT ale chciałbym pobawić się lokalnie w postawienie czegoś własnego.
Widziałem, też, że są do ściągniecia paczki "danych" do nauki własnego modelu.

Ma ktoś solidne materiały jak to ugryźć lokalnie od podstaw i jakie minimalne wymagania co do PC, żeby to miało sens?

#
  • 9
  • Odpowiedz

  • Otrzymuj powiadomienia
    o nowych komentarzach
gradekmi
gradekmi
  • 1
@cebulowyInwestor to instaluj ollame i się baw. Na obu sprzętach dasz rade odpalic modele ktore sa uzyteczne. To gdzie bedzie dzialalo lepiej to zalezy od modelu (jak model sie zmiesci w vram, to lepiej pojdzie na 2060, jak bedzie troche wiekszy, to lepiej bedzie na m1) Małe modele nie są tak universalne jak sonet, ale to nie znaczy ze sa zle. Na 2060 powinienes dac rade odpalic modele do 7B parametrow
  • Odpowiedz
gradekmi
gradekmi
  • 1
@gradekmi a, i jak chcesz inwestować to rozwaz maca (nawet mini). Unified Memory robi naprawdę niezła robotę. Ja mam m4 pro z 48gb ram i już naprawdę sporo modeli mozna odpalic z rozsądna wydajnością
  • Odpowiedz
mk321
  • 1
@toolonge

@JamesJoyce Też mi się wydaje, że taki przeskok kosztowy jest szalenie niezwykły A może jednak nie jest ? Zależy, w takim razie zachód też bez problemów powinien zjechać z kosztów wielokrotnie, bo okazuje się to być czymś "tanim"w osiągnięciu Zobaczymy


Kilka lat temu było to bardzo kosztowne. Wraz z rozwojem robi się coraz
  • Odpowiedz
makrofag74
  • 1
#ai #sztucznainteligencja #llm

ReaderLM-v2 to model języka parametrów 1,5B, który konwertuje surowy kod HTML na pięknie sformatowany kod Markdown lub JSON z wyjątkową dokładnością i ulepszoną obsługą dłuższego kontekstu. Obsługując wiele języków (w sumie 29), ReaderLM-v2 specjalizuje się w zadaniach obejmujących analizowanie, przekształcanie i wyodrębnianie tekstu HTML.

ReaderLM-v2 stanowi znaczący krok naprzód w stosunku do swojego poprzednika, z kilkoma kluczowymi ulepszeniami:

Lepsze
  • Odpowiedz

  • Otrzymuj powiadomienia
    o nowych komentarzach
k.....j
k.....j
  • 0
@makrofag74: No to jeszcze został im tylko Windows i MacOS. Myślę że jak chcesz być czołowym globalnym modelem to multiplatformowość jest obowiązkowa. Ciekawi mnie czy Qwen AI też wydadzą w najbliższym czasie swoje appki, bo ostatnio wypuścili wersję webową chatu. Cieszy mnie że chińczycy nie odpuszczają bo to bardzo napędza konkurencję i zmusza gigantów jak OpenAI czy Google z ich modelem Gemini do jeszcze szybszego rozwoju
  • Odpowiedz
makrofag74
  • 0
@kkecaj: DeepSeek jest całkiem niezły i goni czołówkę. Ostatnio tłumaczę sobie napisy do seriali w nim. Co ciekawe w wersji www ma guzik CONTINUE, a konkurencja nie ma.
  • Odpowiedz
makrofag74
  • 1
Kwantyzację można porównać do hmmm...kompresji obrazka, model jest mniejszy i potrzebuje mniej pamięci do uruchomienia, ale kosztem jakości odpowiedzi.

Na szczęście coraz mniejsze modele działają coraz lepiej.

Typ modelu, a wielkość:
makrofag74 - Kwantyzację można porównać do hmmm...kompresji obrazka, model jest mniej...

źródło: kwantyzacja

Pobierz
  • Odpowiedz
makrofag74
  • 1
@kartofel: 1,2 - Reprezentuje 20% narzut związany z ładowaniem dodatkowych rzeczy w pamięci GPU.

wujek AI mówi, że: "Nie do końca. Wielkość modelu, np. 70B (70 miliardów parametrów), odnosi się do liczby parametrów w modelu, a nie bezpośrednio do liczby połączeń między "neuronami".

Co oznaczają te 70 miliardów parametrów?
Parametry w modelu to wagi i przesunięcia (bias), które są dostosowywane podczas procesu trenowania sieci neuronowej. W przypadku dużych modeli językowych, takich jak GPT,
  • Odpowiedz

Powiązane tagi