W inicjalizacji LLaMA memrystorowy rozkład SVD ma 41,6 razy wyższą efektywność i jest 23,1 razy szybszy. 💻🛠️

W Nature Communications opisano architekturę SREA, która łączy algorytm SVD z pamięcią obliczeniową na memrystorach. SVD to matematycznie optymalny sposób kompresji danych, ale klasycznie wymaga iteracyjnego mnożenia macierzy i ciągłego przenoszenia danych. Memrystory liczą w miejscu pamięci, jednak przy SVD pojawiały się dryf numeryczny i reszty po deflacji. DPM ogranicza dryf, VPR redukuje reszty. W testach:
uzior - W inicjalizacji LLaMA memrystorowy rozkład SVD ma 41,6 razy wyższą efektywnoś...

źródło: card

Pobierz
  • Odpowiedz
  • Otrzymuj powiadomienia
    o nowych komentarzach