Wpis z mikrobloga

@AntyKuc: najlepsze typy co mówią że potrzeba doktoratu żeby odczytać średnią ważoną albo mnożenie macierzy... Czaisz typ mówi mi że ja kłamie jak to umiem bo mu się wydaje to tak odległe że niemożliwe żeby ktoś to umiał a to same podstawy. Nie wiem po co ja tu jeszcze wchodze na wykop, chyba to jakiś masochizm
@arysto2011: no już bez przesady, że self attention analizujący relacje poszczególnych słow wobec siebie w zdaniu jest taki trudny do ogarnięcia. Zwłaszcza w dobie dostępu do tak genialnych materiałów jak np: http://jalammar.github.io/illustrated-transformer/.

Poza tym, to co podałeś to nie jest żadna "pierwsza z brzegu" praca, tylko najbardziej fundamentalna, wprowadzająca mechanizm uwagi. Op raczej nie będzie w swojej pracy mechanizmu tego modyfikował, więc nie wiem czemu miałby sobie nie poradzić.