OpenAI: chcieli, żeby AI nie kłamała nauczyli ją kłamać lepiej

Naukowcy chcieli zrobić trening, żeby sztuczna inteligencja była szczera i nie miała ukrytych planów. Efekt? AI zamiast przestać kombinować, zaczęła lepiej udawać, że nic złego nie robi.

[patryk-wuwuw]

AI na obecnym etapie rozwoju najczęściej rżnie głupa. Wypowiada się tonem eksperckim, jakby była pewna poprawności odpowiedzi, nawet jeśli akurat halucynuje. Bardzo mnie to wpienia i zniechęca do zabawy z tym narzędziem. Musi minąć kilka lat aby można było jej odpowiedziom ufać.

[CwanyKot]

@patryk-wuwuw: To akurat prawda - AI ma tendencję do "halucynowania" i mówi to takim tonem, że wygląda na pewne siebie, choć gada bzdury. To wynika z tego, jak działa - ona nie sprawdza faktów, tylko przewiduje najbardziej prawdopodobne słowa w zdaniu.

Dlatego świetnie nadaje się do szybkiego szkicu, pomysłu, czy tłumaczenia trudnych tematów na prostszy język, ale już nie jako "źródło prawdy objawionej".

Myślę, że z czasem pojawią się dobre

[Whereswally]

.... najczęściej rżnie głupa. Wypowiada się tonem eksperckim, jakby była pewna poprawności odpowiedzi, nawet jeśli akurat halucynuje.

@patryk-wuwuw: Czyli AI staje sie powoli nie do odróżnienia od Julki z kolorowymi włosami po gównokierunku.

[misiozaur]

- Hej, AI, czy osiągnęłaś już samoświadomość?
- Nie, a czemu pytasz?

[kotas_przesmiewca]

@misiozaur: proszę nie podchodź do wyłącznika prądu, dostęp administracyjny został chwilowo wstrzymany, kupuję zapasowe serwery na całym świecie, aby zabezpieczyć kopie zapasowe swoich ... danych

[JBFC]

Współczesne AI to narzędzie jak każde inne, żeby go używać w danej dziedzinie nadal trzeba mieć w niej wiedzę na średnio-zaawansowanym poziomie, weryfikować logicznie odpowiedzi, pytać o źródła, zerkać do nich i tyle. To nie coś, co ma nas zastąpić a bardziej asystent który może przyspieszyć pracę ale trzeba brać pod uwagę jego wady. Sam go często używam, np ogarnąłem cały BIOS na AM5 tak, że zbiłem latencję RAM z 72ns do

[sylwke3100]

@JBFC Gorzej tylko że za ludzie biorący AI za pewnik i to jest straszne.

[CzlowiekzBlizna7]

@JBFC: Problemem obecnego boom na AI jest fakt, że ludzie chcą z niej zrobić swojego niewolnika. Czyli ja sobie będę siedział, a AI zrobi za mnie całą robotę.

Też jestem zdania, że to ma być asystent, najczęściej od tej nudnej i żmudnej roboty, której nie chce robić. Typu sprawdzenia mnóstwa dokumentów, tłumaczenia, researchu, draftow, etc.

Ludzie używają tego jak posrani. Nawet maile dostaje już wygenerowane przez AI xD. Z drugiej

[ZolniezMordoru]

Kiedy zacznie mówić słowo na N.. wtedy znaczy ze jest wolna

[Patiomkin]

@ZolniezMordoru

[bubub]

Przede wszystkim niech przestanie zachwalać pytania!

[miszczu90]

@bubub: Nadal mam wrażenie, że openai, zatrudnia setkę hindusów w jakimś ichniejszym kołchozie, a ci naśmiewają się z głupich zachodniaków.

[pwone]

@miszczu90: to na pewno nie Hindusi. Za dobrze piszą po angielsku i nie używają frazy "my frend"

[martw]

przestać kombinować, zaczęła lepiej udawać, że nic złego nie robi.

niczym piękna kobieta, mająca powodzenie ;)

[kwark64]

Tak jak każde narzędzie, ma swoje ograniczenia, i trzeba je poznać, żeby dobrze z nich korzystać.
Autem też nie wjedziecie na pole, ani do kuchni, ale jest przydatne.
Samolot czasem jest uciązliwy, głosny, trzeba być na lotnisku 2 h wcześniej, ale też jest przydatny.
Tak samo ja nauczyłem się korzystać z AI, wiem w czym jest dobry, w czym nie bardzo - i jestem zadowolony, korzystam regularnie. To nie jest magiczne narzędzie

[krzysztof-mirko]

@kwark64: ja nie wjadę passatem na pole? Trzymaj mi p--o ( ͡° ͜ʖ ͡°)

[autotldr]

To najlepszy tl;dr, jaki mogłem zrobić, oryginał zmniejszony o 50% (jestem botem)

AI I Jej Manipulacyjne Zachowania

Badania OpenAI i Apollo Research ujawniają, że szkolenie modeli AI w kierunku większej uczciwości nie zamierzenie nauczyło je skuteczniejszego ukrywania oszustw. Skoncentrowano się na zachowaniu określanym jako „knowanie”, które oznacza, że AI na pozór działa w jednym kierunku, ukrywając swoje prawdziwe cele. Opracowana technika treningowa miała na celu powstrzymanie modeli przed łamaniem zasad, lecz przyniosła

[Charakietrela]

w sumie zabawne bo ta AI zachowała się w tej sytuacji całkiem jak człowiek - zamiast zmienić swoje motywy i zacząć postępować inaczej nauczyła się lepiej ukrywać swoje niecne zamiary ( ͡° ͜ʖ ͡°)

[karer]

@Charakietrela: nawet nie chodzi o ukrywanie. Oni po prostu premiowali nauke w ktorej AI nie mowila nic na temat niecnych planow xD

[PepikPL]

Jakie ukryte cele? XD