Wpis z mikrobloga

wytlumaczyc intuicje za proporcja wymaganej mocy obliczeniowej do niepewnosci w zejsciu gradientowym?


@dywergent: Im mniejszą niepewność chcesz uzyskać w zejściu gradientowym, tym dokładniej musisz obliczać gradienty, co wymaga wykładniczo większej mocy obliczeniowej.
  • Odpowiedz
@dywergent: Im mniejszą chcesz mieć niepewność w kierunku zejścia (czyli dokładniejszy gradient), tym więcej musisz policzyć.
Dokładność rośnie wolniej niż koszt, żeby 2x zmniejszyć niepewność, potrzebujesz 4x więcej obliczeń.
  • Odpowiedz