Tutorial GPT-3 - podstawy w 20 minut

Generowanie tekstów, tworzenie kodów źródłowych i streszczanie artykułów z użyciem sztucznej inteligencji od OpenAI (GPT-3). Absolutne podstawy wyjaśnione w niespełna 20 minut.

[Wasz_Pan]

Tak jak już gdzieś tutaj pisałem - w ciągu 10 lat AI wyprze programistów na niższych i średnich szczeblach w przeciętnym korpo.
AI wypluje kod gotowy do działania bez błędów ze wszystkimi instancjami i zmiennymi + komentarze.

Tak samo za parę lat pisanie prac zaliczeniowych na uczelniach straci sens. AI w parę minut wypluje pracę w pełni dostosowaną do wymogów tematu wraz z formatowaniem.

The future is now.

[milo1000]

@Wasz_Pan: Owszem, tak będzie, ale pojawią się inne problemy: jak definiować funkcjonalność tego co ma powstać, oraz AI też będzie popełniać błędy.

[BeSmarter]

@Wasz_Pan: ale wiesz, że w komercyjnym programowaniu spora część wysiłku to wyciągnięcie informacji o wymaganiach, zrozumienie wymagań i spisanie je na język formalny, po czym implementowanie, a błędy powstające później często są z powodu "niedoanalizowania"?

Szybszy programista (niech i sztuczny) nie rozwiąże tych problemów.

Pomoże, przyspieszy, ale na razie nie zastąpi.
A co dopiero z utrzymywaniem setek milionów linijek kodu który

[Viters]

@imlmpe: W 12 minucie przy upraszczaniu tekstu dostałeś w wyjściu ten sam tekst co w wejściu.

[imlmpe]

@Viters: tak, to prawda. Powinienem poprawić zapytanie, a przeczytałem tylko pierwsze zdanie odpowiedzi, które wyglądało OK. Model nie zrozumiał, o co poprosiłem i powinienem o to poprosić po prostu innymi słowami.

[L.....v]

wow, niezłe ( ͡° ͜ʖ ͡°)

[wjtk]

@imlmpe: kojarzysz jakieś sensowne alternatywy tego typu które można wraz z modelem pobrać i odpalać lokalnie?

[imlmpe]

@wjtk: zerknij na GPT-2, albo GPT-J. Oba rozwiązania działają offline.

[M.....T]

text-ada-001

Kolega został poproszony o naprawienie tagów
---
Kolega wróci z wynikami pracy
---
Tagi działają wyśmienicie

[zigibombes]

AI potrafi wygenerować prawidłową odpowiedź, ale czy rozumie to co generuje? Albo zapytanie. Chiński pokój. Jest to dość niebezpieczne w dłuższej perspektywie. Potrzebne będą dobre bezpieczniki zanim coś takiego wypuści się w Świat.

[imlmpe]

AI potrafi wygenerować prawidłową odpowiedź, ale czy rozumie to co generuje?

@zigibombes: zrozumienia tam wiele nie ma. Poza tym GPT-3 w najmocniejszym modelu ma tylko max. 4000 tokenów pamięci. Oznacza to, że takie AI nie mogłoby napisać książki i utrzymywać fabuły, bo po prostu nie pamiętałoby, co działo się w poprzednim rozdziale.

Generowane teksty są (zazwyczaj) sensowne, ale czegoś takiego jak zrozumienie przez AI generowanego tekstu tam nie ma. To

[zigibombes]

To jeszcze nie ten etap sztucznej inteligencji.

@imlmpe: dzięki za info, to jeszcze poczekamy na T800 trochę ;)

[shpyo]

I teraz muszę się pobawic tym api i stworzyć coś do projektu w którym teraz siedzę xD.

[Iavolenus]

OpenAI?
Niektórzy piszą ClosedAI albo WaterClosedAI

Ta organizacja podsłuchuje i cenzuruje wszystko co piszecie! Była afera ze skompromitowanym, kilkukrotnie zhakowanym aidungeon, gdzie ludzie dostawali bany za "pedofilię" w sytuacji kiedy pisali np. "fuck, this laptop is nine years old".

Niekompetentne AID było zmuszane do cenzury przez OpenAI, które odpowiadało za faktyczne obliczenia (u nich były serwery). Outsource'owano gdzieś w Azji grupy cenzorów, którzy siedzieli przy tekstach użytkowników i czytali.

[ECMAlover]

Bawiłem się w uczenie maszynowe, kiedy było na poziomie rozwielitki.

Co, jeśli w tym momencie davinci zacznę karmić fałszywymi informacjami (bo zakładam, że uczy się na wszystkim) ?

Co jeśli wykorzystam bota z innym AI, ale o sprzecznych informacjach i zaleję davinci takimi zapytaniami?

[imlmpe]

@ECMAlover: GPT-3 nie wchłania wiedzy od użytkowników w sposób bezpośredni. Nie ma więc możliwości, aby użytkownik (na stałe) wprowadził mu błędne dane.

Istnieje coś takiego jak "Fine-tuned models", czyli modele ulepszone wiedzą pochodzącą od użytkownika, ale:
1) to jest dodatkowo płatne i w podstawowej wersji narzędzia tego nie ma
2) każda instancja 'Fine-tuned models' jest per user, czyli co najwyżej zatrujesz błędnymi danymi swoją kopię modelu.

[imlmpe]

@milo1000: uczenie jest bardzo proste. Podajesz zapytanie i odpowiedź, jakiej się spodziewasz.
Oczywiście GPT-3 nie zapamiętuje idealnej odpowiedzi, a wnioskuje, jaka powinna być. To trochę działa tak, jak mój przykład z SQL na filmie. Różnica jest taka, że moje przykłady z zapytania działają tylko w chwili wykonywania zapytania, a przy modelach fine tuned zapisałyby się na stałe w pamięci GPT-3.

Więcej info:
https://beta.openai.com/docs/guides/fine-tuning

[HoldenCaulfield]

[stop sequence] to jest taki separator pomiędzy zapytaniami.

No chyba jednak nie: https://help.openai.com/en/articles/5072263-how-do-i-use-stop-sequences