Jak mówił, tak zrobił. Musk udostępnia AI Grok dla wszystkich.

Model ten, wyróżniający się ogromną strukturą składającą się z 314 miliardów parametrów Mixture-of-Experts. (GriHub w powiązanych)

[kwanty]

To jest bardzo ważna informacja w świecie AI. To jest chyba jeden z największym modeli udostępniony publicznie - jeszcze pytanie jaka jest licencja, czy będzie dało się używać komercyjnie, czy można będzie robić fine-tuning, jaka jest jakość modelu pod względem prawny (na jakich materiałach był trenowany - czy prawnicy nie będą się czepiać licencji danych treningowych, etc...).

To jest raczej wczesna wersja, z tego co widzę nie ma optymalizacji CPU+GPU, nie ma wersji

[200Amra]

@kwanty: Idealne narzędzie dla szarej lub wręcz czarnej części internetu. Jakby scamy nie były w---------e za bardzo to teraz będą oparte o AI.

[ChlopakNaMedal]

@kwanty kolega brzmi jakby się znał :)

[m_77]

300 GB? Chuck Norris zmieści to na dyskietce i jeszcze mu miejsce zostanie na resztę Internetu( ͡° ͜ʖ ͡°)

[nabbek]

i jeszcze mu miejsce zostanie na resztę Internetu( ͡° ͜ʖ ͡°)

@m_77: i to w dwóch kopiach. jedna dla nas, druga dla niego ;-)

[yoshi314]

@m_77: jak GPT dostaje problem to zadaje sobie pytanie "co by zrobił Chuck Norris?"

[SeeJay]

Teradysk wystarczy?

[wielkilen]

@SeeJay: teratak

[barteck]

@wielkilen a póżnij?

[ZapachWanilii]

Z istotnych informacji to udostępniony model to surowy checkpoint bezpośrednio po pretreningu, bez SFT pod dialog. Nie jest to ten sam model, który jest dostępny na X. Nie zmienia to jednak faktu, że to największy otwarcie dostępny model MoE z przystępną licencją Apache-2.0

[kwanty]

Z istotnych informacji to udostępniony model to surowy checkpoint bezpośrednio po pretreningu, bez SFT pod dialog.

@ZapachWanilii: Jakby nie mówić, jest to tzw. model fundacyjny. Na jego bazie będą robić fine-tuning do konkretnych zadań. Czekamy na benchmarki typu: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard i gdzie się plasuje w porównaniu do konkurencji, czy jest o wiele lepszy od dostępnych 70B czy na ich poziomie.

Zrobili pierwszy model, zrobią i kolejne :-)

[lo_i_ob]

Polak jednym z głównych kontrybutorów - nice 👏🏻

[kamillus]

To teraz trzeba poczekać na forka, którego da się odpalić na zwyczajnych maszynach domowych i przez noc będzie w stanie każdy sobie napisać jakiś scenariusz czy książkę gotową do publikacji? ;)

[DonTom]

@kamillus: ma 8k kontekstu. Jak dobrze pójdzie, to napisze rozprawkę do czwartej klasy

[kamillus]

@TruskawkaNaTorcie no jest to maszyna dla entuzjastów, ale jednak domowa.

[zakoleo]

300GB? to ile trzeba mieć vramu żeby to odaplić? rozumiem że to model językowy, bo w artykule nie napisali

[5da4266d3de6dbaf425a2d4fc16225d0]

@zakoleo: Na laptopie raczej nie będziesz tego odpalać, ale EC2 oferuje teraz instancje po 24TB ramu ( ͡° ͜ʖ ͡°)

[bartBartowicz]

@5da4266d3de6dbaf425a2d4fc16225d0: a po przepracowanej nocy pobudka i bankructwo.

[Cedrik]

Chcę spróbowac otworzyć u siebie. Pobrałem te 300GB, wrzuciłem w checkpoints.

Dalej nie wiem co robić, Python to nie moja bajka, w czym to odpalić i... co konkretnie? :D

[marw]

Dalej nie wiem co robić, Python to nie moja bajka, w czym to odpalić i... co konkretnie?

@Cedrik:
To trochę tak jak byś przywiózł silnik od Ferrari na przyczepce i pytał się jak zacząć nim jeździć. Wystarczy tylko sprzęt, np. z chmury z przynajmniej 320 GB ramu w GPU, odpowiednie środowisko, choć pewnie w requirements jest wszystko co trzeba i jakiś kod do inferencji. Najlepiej poczekać kilka dni a ktoś

[Cedrik]

@marw: i to jest odpowiedź na którą czekałem. Dzięki!

[s.....h]

Czyli jak chce się mieć na bazie Gropk-1 np. czata to to trzeba to samemu dopisać do kodu tak?

[pablomike71]

@janekplaskacz: yhym, już się prosić trzeba ;)

[bramborak]

@siedze_w_samych_gaciach: nie masz gotowe projekty cały interfejs np https://github.com/mckaywrigley/chatbot-ui

[orkako]

Nie jest online? A to mi się nie chce ściągać.