[JamesJoyce]

#sztucznainteligencja #ai #programowanie #programista15k

Taka plotka. Myślę że prawdziwa.

[jenotpl]

@JamesJoyce: Co do Chin to nigdy nie wiadomo jak to jest z tymi kosztami, czy ten budżet nie jest przypadkiem 10 razy większy.
Bo państwo po cichu dopłaca

[JamesJoyce]

@jenotpl na pewno jest

[Zielonka021124]

@JamesJoyce: nie rozumiem, Meta zamyka jakiś swój pododdział gdzie domniemani spece od AI nie dowożą za grube pieniądze? Co mają Chińczycy do tego, 5.5 mln to jakieś drobne przy poważnym AI

[JamesJoyce]

@Zielonka021124 to że DeepSeek to sideproject który działa na iPhonie i przewyższa Claude i gpt4

[Defined]

@JamesJoyce: W jaki sposób model z 685 miliardami parametrów działa na iPhonie? Ciężko mi w to uwierzyć. Istnieją sposoby kwantyzacji, które zmniejszają rozmiar wag modelu, ale często drastycznie pogarszają jego wydajność. DeepSeek nie przewyższa Claude 3.5 Sonnet w teście SWE-bench (Real-World GitHub Issues, dość istotny test z kategorii Code), no i to tylko sam model, który nie ma tak dobrego wsparcia dla function calling. Prawdziwy benchmark modelu zaczyna się poprzez

[a5f5c1]

@JamesJoyce: w sensie działa w 100% lokalnie na iPhonie? Pod jakim względem przewyższa?

[jenotpl]

@Defined: Gdyby nie udostępnili tego publicznie to by im nikt nie zaufał :D
Teraz mają przy okazji argument, że działają dla dobra świata.

[JamesJoyce]

@Defined nie ten największy.

https://x.com/awnihannun/status/1882105560201617903?s=46&t=m4xgLKFgqFafJXbRTotN1Q

[JamesJoyce]

@a5f5c1 w benchmarkach

[Defined]

@JamesJoyce:

DeepSeek R1 distilled to Qwen 1.5B

https://huggingface.co/deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B/blob/main/config.json

1.5 miliarda parametrów w formacie bfloat16 zajmuje 3.55 GB, w tym linku on tam dokonał kwantyzacji do 4 bitów, czyli to będzie jakieś 900 MB. Inne modele też można uruchomić, ale te wersje modeli ~1 miliardów parametrów działają tragicznie już same w sobie, a po kwantyzacji, to jest kaplica. Sztuka dla sztuki.

[JamesJoyce]

@Defined tak, wiem. Lamy także w taki sposób działają na fonie. Może niejednoznacznie się wyraziłem. Wersja największa jest lepsza od topowych modeli. Wersja destylowana jest jak destylowana :)