[JamesJoyce]

#sztucznainteligencja #programowanie #programista15k #chatgpt

Co to się stało. Po leaku Antropicu mamy opensourcowy model destylowany z Opusa 4.6 i to do 27b. Autor twierdzi, że wystarczy 16gb vram dla 29–35 tok/s generation speed i full 262K context with no compromises.

Qwen3.5-27B-Claude-4.6-Opus-Reasoning-Distilled is a highly capable reasoning model fine-tuned on top of the powerful Qwen3.5 architecture. The model's core directive is to leverage state-of-the-art Chain-of-Thought (CoT) distillation primarily sourced from Claude-4.6 Opus interactions.

Through Supervised Fine-Tuning (SFT) focusing specifically on structured reasoning logic, this model excels in breaking down complex user problems, planning step-by-step methodologies within strictly formatted <think> tags, and ultimately delivering precise, nuanced solutions.

https://huggingface.co/Jackrong/Qwen3.5-27B-Claude-4.6-Opus-Reasoning-Distilled

Szybkie testy pokazują, że działa to dość dobrze.

[a5f5c1]

@JamesJoyce: co znaczy model destylowany? Rozwiniesz?

[JamesJoyce]

@a5f5c1: w tym przypadku chodzi o samą destylację reasoningu. Ale w skrocie Destylacja to proces, w którym mały model uczy się naśladować rozumowanie dużego modelu – nie tylko końcowe odpowiedzi, ale cały tok myślenia (chain-of-thought).
Czyli coś takiego:

Duży model generuje tysiące przykładów z rozbudowanym rozumowaniem
Mały model trenuje się na tych przykładach
Efekt: mały model "myśli" podobnie jak duży, ale jest tańszy

[a5f5c1]

@JamesJoyce: Dzięki za podzielenie się tym modelem - wrzucę sobie potem na RTXa i zobaczymy jak z jakością i prędkością przy okazji w zależności od długości kontekstu ( ͡° ͜ʖ ͡°)

[LM317K]

Co to się stało. Po leaku Antropicu mamy opensourcowy model destylowany z Opusa 4.6 i to do 27b.

@JamesJoyce: model został opublikowany 26 dni temu a ten leak był kiedy, kilka dni temu? 26 marca 2026 Więc jakim cudem może być jakkolwiek opracowany na podstawie wycieku? Dałbym ci minusa jakbym mógł za pieprzenie takich głupot

[JamesJoyce]

@LM317K: tak, wiem, tego nie sprawdziłem.

[a5f5c1]

@LM317K: a na czym polegał ten leak dokładniej? ( ͡° ʖ̯ ͡°)

[JamesJoyce]

@a5f5c1: na tym, że claude code source code można sobie pobrać https://x.com/Fried_rice/status/2038894956459290963

[a5f5c1]

@JamesJoyce: a odnośnie tego destylowania modeli, to jaki będzie sens trenować wielkie/potężne modele i wydawać na to kupę siana, skoro ktoś potem weźmie sobie wszystkie te dane i proces rozumowania i przeniesie do jakiegoś innego modelu, który będzie np. udostępniony za free? Czy to nie jest jakiś błąd w matrixie? ( ͡° ʖ̯ ͡°)

[JamesJoyce]

@a5f5c1: Destylacja ma twarde limity. Student nie może przerosnąć nauczyciela. Mały model zdystylowany z GPT-4 nie staje się GPT-4 to bardziej stratna kompresja niż klon. Tracisz przy tym rozumowanie, spójność na długich kontekstach, rzadkie umiejętności. Prawdziwy moat to nie model, to wiedza jak go zbudować. Firmy na frontierie uczą się jak skalować, jakie dane działają, jakie architektury wygrywają. Tej wiedzy operacyjnej nie zdystylujesz z żadnego checkpointu.

I największa beka:
Nim

[a5f5c1]

Student nie może przerosnąć nauczyciela.

@JamesJoyce: a gdybyś miał ocenić w jakim procencie w poważnych biznesowych rozwiązaniach potrzebne są wybitne/najlepsze modele, a w jakim procencie potrzebne są średnie i małe, ale szybkie modele to jaki dałbyś temu rozkład?

Ja mam wrażenie, że do 90-95% wystarczą modele średnie/małe, a do 5-10% faktycznie przydaje się głębokie rozumowanie najlepszych dostępnych modeli.

Choć w scenariuszach typu vibe coding pewnie najopłacalniej będzie polegać na najlepszych

[JamesJoyce]

@a5f5c1: 60-70% problemów biznesu można rozwiązać ML lub DL. Nie trzeba nawet llmów.

[Peptalk]

@JamesJoyce: dobrze że te chińczyki jeszcze są bo inaczej big techy zachodnie już pewnie teraz zaczynałyby podnosić ceny