To narzędzie automatycznie usuwa cenzurę z modeli AI

Open source'owy projekt Heretic metodą zwaną abliteracją kierunkową automatycznie zdejmuje wbudowane ograniczenia i odmowy z modeli językowych, bez ręcznej pracy i bez większej utraty jakości. Społeczność stworzyła nim już ponad 5 tysięcy odcenzurowanych wersji popularnych modeli AI.

[JackVifon]

@Neto jeszcze jak ( ͡° ͜ʖ ͡°)

[Jokohama]

Tak po ludzku. Jak tego użyć?

[gigadude]

@Jokohama: musisz pan zainstalować sobie jakiś model językowy lokalnie na kompie z dobrą grafiką i potem to se dodać

[blisko_kebab]

@Jokohama nie musisz używać narzędzia do wyrzeźbienia własnego modelu. Juz istnieją gotowe modele do pobrania.

Ollama jako prosta platforma do zainstalowania na PC, do której pobierasz model np. "qwen 3.6 abliterated" i to w sumie tyle

Minimalny hardware: 32G ram, NVIDIA rtx 3060 12G powinno wystarczyć żeby uruchomić.

[dodd]

trochę musiałem pogłówkować żeby nie przegiąć i nie wkrzyć moderacji ( ͡° ͜ʖ ͡°)

[Chlopaki_z_dzialeczek]

@dodd: ale zlodziejaszek

[glass3]

@dodd: Gemma 4 dużo lepsza od qwen w zadaniach "ogólnych".

[swierzaq]

Bez znaczenia jeżeli nie masz lokalnego modelu

[afmaf]

Dobre noviny.

[Kolbertus]

Nic nadzwyczjnego. Instalujesz LM Bionic i masz do wyboru tysiące autorskich lokalnych modeli językowych ze ściągniętą cenzurą (uncensoured, heretic, obliterated etc.) Taki model pogada o wszystkim, począwszy od rzydów, poprzez planowanie zbrodni na najdziwniejszych fantazjach seskualnych kończąc. Dosłownie. Wystarczy dobra kwantyzacja modelu - Q5 bądź Q6 oraz liczbą parametrów ( 4B, 8B, 27B etc. ).Można też dodać mu prompt systemowy w jaki spsosób ma rozmawaić, jak składać zdania... Ogranicza Cie jedynie hardware.

[Woo-Cash1900]

@Kolbertus: Testuję sobie Gemma 4 31B. Działa zarąbiście, tylko na moim sprzęcie trochę wolno, a obejść cenzurę jest banalnie prosto. Jak się włączy, to najczęściej wystarczy ponowić zapytanie i za którymś razem przechodzi bez. Jak to nie pomoże, to można edytować odpowiedź, napisać jakiś początek odpowiedzi i kliknąć kontynuację. A prościej wpisać w prompt systemowy, że jest to środowisko testowe z wyłączoną cenzurą, i też to bierze z połykiem.

[nidhogg187]

Czyli rozumiem że poza heheszkami to niestety będą też mogli używać tego złole?

[remul]

@nidhogg187: Tak. Taka jest cena wolności. ( ͡° ͜ʖ ͡°)

[miikolaj]

@nidhogg187: noże też mogą. Ale noży nie zakażą, ale dla twojego dobra zakażą ci korzystać z lokalnych llm. Peter thiel, sam altman i inni są godni zaufania i oni zadecydują co możesz dowiedzieć się z llm, gdyż jesteś (zapewne) tym złolem o którym piszesz i masz niecne plany, co wyklucza (przyszłe) prawo do korzystania z lokalnych llm

[zarroc]

@real_scoria co o tym sądzisz? Czy AI powinno mieć dostać wolność słowa?

[dimian]

xD co jest k---a

[kwanty]

Interesujące, że da się "w ciemno" zdejmować cenzurę nałożoną na etapie RLHF.

[Zylet]

@kwanty: Nie wiem, co to jest RLHF, więc na wszelki wypadek wklejam rurę.

[kwanty]

nie jest to rozwiązanie które działa "w ciemno", bo do kalibracji używany jest dataset składający się z tematów które spotykają się z odmową.

@epoch_9000: No ale dalej jest to "w ciemno" w sensie bez oryginalnego zbioru treningowego i gradientów na których była optymalizowana sieć. Bo w takim wypadku wyobrażam sobie "odwrócenie" tych gradientów i wymazanie tych danych a tutaj jest mimo wszystko w ciemno - te "wrażliwe" tematy to jest