Wpis z mikrobloga

@LlLlLlLlLlLlLl: mały kawałek o czym to jest:
"But seriously folks, the combined compute demand of every single AI company in the world doesn’t currently reach $100 billion — and it needs to be ten times that by 2030 or all those data centers got built for no reason!

And for that to happen, both Anthropic and OpenAI need to be making about $400 billion a year in annual revenue, which
  • Odpowiedz
@LlLlLlLlLlLlLl: parę pojedynczych kwestii sie rzeczywiście pokrywa z rzeczywistością. A mianowicie to że wszelkie firmy obecnie na siłę wszędzie próbowały i probują wpychać AI ale już jak przychodzi do rachunków za rzeczywiste wykorzystanie tokenów to już ich boli d--a i narzucają ograniczenia kosztów.

Takie przynajmniej są sytuację u mnie w projekcie oraz u innych znajomych w firmach (w tym dell, w którym każą obecnie robic wszystko z wykorzystaniem ai, ale
  • Odpowiedz
@KMDZ prawda, ale to nie znaczy że popyt zwalnia, a tylko potwierdza że podaż jest ograniczona. Wraz z rozbudową infrastruktury i zwiększeniem efektywności modeli być może cena tokena znacznie spadnie
  • Odpowiedz
@ratty: cena tokena bedzie spadać co najwyżej liniowo wraz ze wzrostem efektywności akceleratorów Ai używanych do inferencji. Trzeba dodać poprawę na to, ze jesli modele nadal będą rozvudowywane to moze to na bieżąco niweczyć oszczędności z efektywności.

Jakbym mial estymowac na podstawie wzrostu efektywności układów AI od nvidii/amd to pewnie jakos moze w okolicach 2029-2030 cała zabawa w ai zacznie miec dopiero akceptowalne jakkolwiek koszty
  • Odpowiedz
@ratty: rozbudowa infrastruktury już zwalnia, potrzebni są płacący klienci, a nie, że Microsoft postawi centrum danych, za które OpenAI będzie płacić pieniędzmi, które im dał Microsoft
  • Odpowiedz