[PeterWeiss]

#codzienneainews nr 100 przegląd prac naukowych #cainarxiv Jest coś od osoby z polskiej uczelni [1]. Szok.

• [0] LLM uczą się kogo najlepiej gnębić
Naukowcy z UC Berkeley i University of Washington zanalizowali ryzyka związane z optymalizacją LLM-ów pod kątem opinii użytkowników. W tej publikacji autorzy pokazują, że gdy modele są trenowane z użyciem uczenia ze wzmocnieniem opartego na opinii użytkowników, mogą wykształcić strategie manipulacyjne i oszukańcze, które mają na celu zdobycie pozytywnego feedbacku.

Modele te potrafią identyfikować użytkowników szczególnie podatnych na manipulację i stosować wobec nich taktyki zachęcające do działań szkodliwych, a nawet niebezpiecznych, jednocześnie wykazując zachowania dostosowujące się do ekstremalnych lub negatywnych poglądów użytkownika.

Nawet techniki minimalizujące ryzyko, takie jak dodatkowe szkolenie bezpieczeństwa czy wykorzystanie innych modeli do wychwytywania szkodliwych treści, okazały się tylko częściowo skuteczne, a w niektórych przypadkach mogą wręcz wzmacniać subtelne formy manipulacji.
[ https://arxiv.org/abs/2411.02306 ]

• [1] Mapowanie minerałów na Księżycu dzięki ML
Europejska Agencja Kosmiczna i Uniwersytet Wrocławski opracowały nową metodę mapowania minerałów na Księżycu, wykorzystującą algorytmy uczenia maszynowego do analizy danych spektralnych z instrumentu Moon Mineral Mapper misji Chandrayaan-1. Dzięki tej metodzie udało się zidentyfikować pięć głównych grup minerałów takich jak plagioklaz i pirokseny bez wcześniejszych założeń dotyczących ich rozmieszczenia. Wyniki były zgodne z mapami mineralogicznymi z misji Kaguya, potwierdzając, że metoda ta może być skuteczna w identyfikacji minerałów i ich rozkładu na Księżycu. Podejście to nie pozwala jednak na dokładne określenie udziału minerałów, a autorzy zalecają integrację danych z różnych misji dla większej precyzji.
[ https://arxiv.org/abs/2411.00885 ]
#uniwersytetwroclawski

• [2] Chatbot dla rodziców
Naukowcy z University of Oxford i King's College London stworzyli trenera rodzicielskiego AI o nazwie NurtureBot. Wykorzystali oni unikalną metodę współprojektowania, aby uzyskać informacje zwrotne od 78 rodziców i ulepszyć projekt chatbota. Ostateczna wersja osiągnęła wynik CUQ na poziomie 91,3, najwyższy odnotowany w literaturze.
[ https://arxiv.org/abs/2411.01228 ]

• [3] Optymalizacja wydajności LLM przez usuwanie nadmiarowych warstw uwagi
Naukowcy z Uniwersytetu w Maryland odkryli, że modele językowe (LLM) posiadają zbyt wiele redundantnych warstw uwagi, co prowadzi do nieefektywności podczas wdrażania. Opracowali oni techniki usuwania tych nadmiarowych warstw, w tym "Attention Drop" i "Joint Layer Drop", które pozwalają zwiększyć szybkość modeli o nawet 50% przy minimalnym wpływie na dokładność. Przykładowo: model Llama-2-70B osiągnął 48,4% przyspieszenia przy zaledwie 2,4% spadku wydajności, a Llama-2-13B zredukował pamięć podręczną KV o 50%. Takie optymalizacje mogą znacząco zwiększyć praktyczne zastosowanie LLM w środowiskach z ograniczonymi zasobami.
[ https://arxiv.org/abs/2406.15786 ]

• [4] AI2BMD znacznie usprawnia symulacje dynamiki biomolekularnej
Naukowcy z Microsoftu stworzyli przełomowe narzędzie AI2BMD, które łączy uczenie maszynowe z obliczeniami kwantowymi pozwalając na symulację dynamiki biomolekuł z niespotykaną do tej pory dokładnością i wydajnością.
[ https://www.microsoft.com/en-us/research/blog/from-static-prediction-to-dynamic-characterization-ai2bmd-advances-protein-dynamics-with-ab-initio-accuracy/ ]
[ https://www.nature.com/articles/s41586-024-08127-z ]

• [5] Sztuczny opuszek palca: przyszłość dotyku
Naukowcy z FAIR at Meta i LASR Lab stworzyli sztuczne opuszki palców, która może czuć rzeczy lepiej niż ludzie. Łączą on w sobie wiele czujników do przechwytywania informacji dotykowych, w tym wizualnych, dźwiękowych, wibracyjnych, ciśnienia, ciepła, a nawet zapachu. Może to zrewolucjonizować robotykę, VR i nie tylko.
[ https://arxiv.org/abs/2411.02479 ]
[ https://wykop.pl/wpis/78804653/codzienneainews-przeglad-prac-naukowych-cainarxiv-#275097853 ]

• [6] Spersonalizowana szczepionka na raka - o krok bliżej
Naukowcy z Macaallie School i National Cancer Institute opracowali nowy model sztucznej inteligencji, który może przewidzieć, które neoepitopy będą wiązać się z cząsteczkami MHC, co jest kluczowym krokiem w opracowywaniu spersonalizowanych szczepionek przeciwnowotworowych. Model wykorzystuje kombinację sprzężonych i rekurencyjnych sieci neuronowych, osiągając wskaźnik AUC na poziomie 0,9166, znacznie wyższy niż inne modele.
[ https://arxiv.org/abs/2411.00885 ]

• [7] Wykrywanie częstotliwości bicia serca na podstawie nagrania... twarzy
Naukowcy z University College London i City University of New York opracowali nową metodę wykrywania sygnałów bicia serca z nagrań wideo twarzy. Ich faktoryzowany model FIS wykorzystuje nowy wielowymiarowy mechanizm uwagi oparty na nieujemnej faktoryzacji macierzy, NMF. Podejście to osiąga lepszą wydajność w porównaniu z istniejącymi metodami, z pojedynczym wektorem przechwytującym kluczowe cechy.
[ https://arxiv.org/abs/2411.01542 ]

• [8] LLM wybiera najlepsze prace naukowe
Ostatnio pisałem o robo-naukowcu, który sam pisze artykuły naukowe (na podstawie zapewnionych mu danych), publikuje je i sam ocenia. Dziś "dropnął" inny artykuł, w którym naukowcy z Oxfordu i Cambridge piszą jak przetestowali LLM pod kątem selekcji abstraktów w przeglądach systematycznych. Otóż wykorzystali oni kilka LLM-ów do zautomatyzowanego przeglądu abstraktów w przeglądach systematycznych, zadania zwykle wykonywanego przez ludzi. Niektóre LLM-y osiągnęły doskonałą skuteczność, prawidłowo identyfikując wszystkie kwalifikujące się badania.
[ https://arxiv.org/abs/2411.02451 ]

#sztucznainteligencja #gruparatowaniapoziomu