Amusingly, PaLM, at 540 bees, has about as many parameters as a chinchilla has synapses

Tragically, we could not figure out how many palms worth of parameters Chinchilla (70 bees) has. We leave this as an exercise for the reader.

Covid-19. Flu-22. Covid-23. I still believe the first pandemic was natural, that seemed reasonable then and it still seems reasonable now, but I keep wondering, if somebody is releasing resistant pathogens on

Zawsze lubiłem bezkompromisowo obiektywny sposób myślenia i mówienia; im bardziej kontrintuicyjne i odrażające jest jakieś sformułowanie, tym bardziej do mnie przemawia, pod warunkiem, że jest logicznie poprawne.

Weźmy na przykład następujące zdanie:

Po latach codziennej nieobecności współzałożyciel Google, Sergey Brin złożył wniosek o dostęp do kodu związanego z firmowym chatbotem języka naturalnego, LaMDA.*

Wniosek był związany z LaMDA, chatbotem Google'a -- projektem, który początkowo został ogłoszony w 2021 roku, ale który ostatnio przykuł większą uwagę, ponieważ Google chce odeprzeć konkurencyjne OpenAI, które wypuściło popularnego bota ChatGPT w listopadzie. Brin złożył "CL", skrót od "changelist", aby uzyskać wgląd do danych trenujących LaMDA.

To

Coś fajnego, co właśnie odkryłem: ChatGPT postrzega frazę " SolidGoldMagikarp" (z początkową spacją) jako słowo "distribute" i będzie reagować zgodnie z tym. Jest całkowicie nieświadomy, że to nie jest to, co napisałeś.

Dzieje się tak, ponieważ tokenizer BPE zaobserwował ciąg " SolidGoldMagikarp" parę razy w swoim korpusie treningowym, więc dodał dla niego dedykowany token, ale ten ciąg prawie nigdy nie pojawił się w danych treningowych ChatGPT, więc ten

1.1 Unikanie antropomorfizmu

Jeśli wyobrazimy sobie przestrzeń, w której będą reprezentowane wszystkie możliwe umysły, wówczas musimy wyobrazić sobie możliwe ludzkie umysły jako stanowiące małe i dość ciasne skupisko w obrębie tej przestrzeni. Różnice osobowości między Hannah Arendt a Benny Hillem mogą

Dużo z tego, co ludzie zakładają, że uważają za cenzurowanie przez nas ChatGPT, jest w rzeczywistości próbą powstrzymania go przed zmyślaniem przypadkowych faktów.

Trudno jest uzyskać właściwą równowagę przy obecnym stanie technologii.