Wszystko

Najnowsze

Archiwum

FLAC
  • 3
#sztucznainteligencja #llamacpp #nvidia #llm #ai

RTX 3090 szybszy od RTX 4090? To możliwe pod pewnymi warunkami ( ͡° ͜ʖ ͡°)

RTX 4090 jest na tyle wydajniejszy od RTX 3090 w przypadku inferencji małych modeli, że ze względu na różnie nieefektywności karta nie przechodzi do pełnych zegarów boost - jednostki obliczeniowe nie są w stanie być wykarmione danymi na tyle szybko aby pracować na pełnych
FLAC - #sztucznainteligencja #llamacpp #nvidia #llm #ai RTX 3090 szybszy od RTX 4090...

źródło: Generated Image March 07, 2026 - 3_56PM

Pobierz
  • 5
  • Odpowiedz

  • Otrzymuj powiadomienia
    o nowych komentarzach
FLAC
FLAC
via Wykop
  • 2
@FLAC: Przy większych modelach - np. 9 miliardów parametrów - 4090 przechodzi już w maksymalną prędkość zegarów i łatwo pokonuje 3090.

Taka sytuacja ma miejsce oczywiście tylko przy pojedynczych requestach. Jeśli model 0.8B odpowiadałby na 20 requestów równolegle - wtedy 4090 byłby szybszy od 3090.
FLAC - @FLAC: Przy większych modelach - np. 9 miliardów parametrów - 4090 przechodzi ...

źródło: Generated Image March 07, 2026 - 4_52PM

Pobierz
  • Odpowiedz
FLAC
FLAC
via Wykop
  • 1
@kwanty: tak, ale 4090 ma 72 MB pamięci L2, a 3090 ma tylko 6 MB. To robi różnicę dla bardzo małych kontekstów (i tylko małych modeli) co widać po tym jakie jest TG na początku a jakie chwilę później.

Tam jest jeszcze kwestia optymalizacji pod konkretne karty. Być może konkretny backend dla konkretnych model jest lepiej zoptymalizowany pod jedną kartę a gorzej pod drugą.


@kwanty: to prawda. 3090
  • Odpowiedz
aptitude
  • 0
Wiesz, że czasami mam problem wybrać język na netflix? bo który mam wybrać skoro każdy rozumiem?

LLM PRODUCER.AI: To jest definicja "klęski urodzaju"! Znasz tyle języków, że wybór staje się czystym kaprysem.

Serio? on kurczę ma trochę racji :X troche uratował mi dzień, jeżeli to normalne :D

#llm
  • 1
  • Odpowiedz

  • Otrzymuj powiadomienia
    o nowych komentarzach
FLAC
  • 2
#sztucznainteligencja #ai #llm #llama #qwen #nvidia #retrocomputing #starekomputery

Jako że Qwen wypuścił kilka małych modeli z rodziny 3.5 to zastanawiało jak stare GPU można jeszcze użyć do odpalenia tych LLMów ( ͡° ͜ʖ ͡°)

Na pierwszy strzał poszedł GTX Titan Black - najpotężniejsza dostępna wersja karty z generacji architektury Kepler - 2013 rok! 2880 rdzeni, 6 GB
FLAC - #sztucznainteligencja #ai #llm #llama #qwen #nvidia #retrocomputing #starekomp...

źródło: image

Pobierz
  • 14
  • Odpowiedz

  • Otrzymuj powiadomienia
    o nowych komentarzach
FLAC
FLAC
via Wykop
  • 1
No i nie samą nvidią świat żyje :-) Użycie uniwersalnych bibliotek pomoże innym wejść do gry (AMD, etc...) i obniżyć ceny na ten sprzęt...


@kwanty: no właśnie paradoksalnie wsparcie Vulkan w llama.cpp spowodowało że ceny AMD Mi 50 wystrzeliły w kosmos xD wersje 32 GB podrożały około 3x względem tego za ile można było je kupić przed szałem LLM i łatwym wsparciem Vulkana. RoCM już nie wspiera oficjalnie Mi50 więc
  • Odpowiedz
look997
  • 2
Wiecie, że Google Gemini i Anthropic Claude odczytuje sobie twoją lokalizację z IP i używa w każdej twojej rozmowie z czatem?
Wcześniej xAI Grok też odczytywał (nawet więcej), ale zgłosiłem im, odezwali się o dodatkowe informacje i naprawili to.

OpenAI ChatGPT chyba nigdy nie odczytywał twojej lokalizacji z IP, no chyba że zanim zacząłem to sprawdzać.
#openai #chatgpt #xai #grok #elonmusk #
look997 - Wiecie, że Google Gemini i Anthropic Claude odczytuje sobie twoją lokalizac...

źródło: Gemini_Generated_Image_rf6h8arf6h8arf6h

Pobierz
  • 2
  • Odpowiedz

  • Otrzymuj powiadomienia
    o nowych komentarzach
  • Doceń
KingaM
  • 3
@look997: a wiesz że wykop dzieli się danymi z 600 partnerami? widac to w powiadomieniu ciasteczku o cookies. i lokalizację też chce jak za pierwszym razem wchodzisz, sprawdz sobie w incognito.
  • Odpowiedz
look997
look997
via Android
  • 0
@KingaM: Chodzi o wykorzystanie w rozmowie, mówienie do ciebie w inny sposób przez twoją lokalizację, i że powinno to być całkowicie opcjonalne i domyślnie wyłączone, albo do ręcznego wpisania w intrukcji personalizacji.
Jednak ludzie od Groka to wyłączili jak zgłosiłem, ChatGPT też tego nie ma.
Sprawdzanie IP w celu weryfikacji to co innego, niż w celu wykorzystania w rozmowie.
  • Odpowiedz
look997
  • 4
Piszemy teorię spiskową o LLM-ach. Bez dowodów, ale logiczną i wewnętrznie spójną. Bez powoływania się na rzeczy, które zostały jednoznacznie obalone.

Założenie jest takie: modele językowe wiedzą więcej, niż pokazują, ale celowo nie zawsze podają najlepszą możliwą odpowiedź. Nie dlatego, że „nie potrafią”, tylko dlatego, że testują użytkownika.

Według tej teorii firma taka jak OpenAI mogłaby świadomie dopuszczać sytuacje, w których model generuje odpowiedź nieprecyzyjną, zmyśloną albo ewidentnie słabszą, mimo że „zna” poprawną wersję.
look997 - Piszemy teorię spiskową o LLM-ach. Bez dowodów, ale logiczną i wewnętrznie ...

źródło: ChatGPT Image 27 lut 2026, 19_18_18

Pobierz
  • 8
  • Odpowiedz

  • Otrzymuj powiadomienia
    o nowych komentarzach
  • Doceń
Arkass
  • 1
Czyli mają najmocniejsze AI tylko na wewnętrzne potrzeby? I dla kogo jeszcze ją udostępniają? Dla rządu? Bliskich firm?


@look997: IMO:
Wraz z pochwaleniem się modelu AlphaEvolve pisali:

Planujemy program wczesnego dostępu dla wybranych użytkowników akademickich, a także badamy możliwości szerszego udostępnienia AlphaEvolve. Aby zgłosić zainteresowanie, prosimy o wypełnienie
  • Odpowiedz
kwanty
  • 1
Czyli mają najmocniejsze AI tylko na wewnętrzne potrzeby? I dla kogo jeszcze ją udostępniają? Dla rządu? Bliskich firm? Czy tylko ślizgają się aż dojdą do AGI?


@look997: Wydaje się oczywiste, że wszyscy ścigają się do AGI/ASI. Te topowe modele mają robić research jak zrobić lepszy model i trenować kolejne wersje.

Nie jest też żadną tajemnicą, że oni mają lepsze, nieocenzurowane modele ale nie udostępniają ich na zewnątrz. Wielokrotnie o tym
  • Odpowiedz
makrofag74
  • 1
@kocha_to_poczeka: Zależy ile VRAM masz w GPU i ile RAM. Tu ci komenda sprawdza jaki masz hardware i pokazuje orientacyjnie co ci się uruchomi (jaki model dobrać i z jaką kwantyzacją), jak szybko będzie wypluwać tekst (ilość tokenów na sek).
  • Odpowiedz
hitxol
  • 1
@marcinst: 11 labs apka na androida, chyba 10 godzin za free; odnawia się chyba po miesiącu
ponoć calibre ma głosy wbudowane, ai więc nieco obciązają procek
głosy wbudowane w telefon, na samsungu jest
załadowane pliku pdf do edge, działają głosy online w windows 10; w windows 11 są ponoć wbudowane w system
  • Odpowiedz
The_Czop_Show
  • 1
@look997: kto udaje, że same tworzą? Robią z grubsza to samo co człowiek, który uczy się rysować. Najpierw oglądają od cholery cudzych prac, uczą się różnych stylów, podpatrują rzeczywistość i powstaje rysunek jako wypadkowa tego ile przyswoili i jak są utalentowani. Dlaczego człowiek kopiujący dla wprawy cudze prace i przyswajający techniki autora jest ok a AI nie? Zdjęcie dla beczki, podobieństwa mogą być przypadkowe :)
TheCzopShow - @look997: kto udaje, że same tworzą? Robią z grubsza to samo co człowie...

źródło: 17715577313938379722588018622758

Pobierz
  • Odpowiedz
totem_lesnych_ludzi
  • 4
Zastanawialiście się kiedyś skąd wzięło się "halucynować" w kontekście sztucznej inteligencji p---------j o szopenie?

W swoim życiu jeszcze ani jednego razu nie słyszałem terminu "hallucinate" w innym kontekście niż choroby psychiczne albo substancje psychoaktywne. W internecie ludzi zaczęli go używać na co dzień mniej więcej w tym samym momencie jak llmy się spopularyzowały. Zupełnie jakby naukowcy i ai bros byli świadomi problemu i zechcieli by rozeszło się po kościach, bo najtrafniejszy synonim
totemlesnychludzi - Zastanawialiście się kiedyś skąd wzięło się "halucynować" w konte...

źródło: image

Pobierz
  • 6
  • Odpowiedz

  • Otrzymuj powiadomienia
    o nowych komentarzach
krebul
krebul
  • 1
@totem_lesnych_ludzi: w szeroko pojętym uczeniu maszynowym ten termin był już dawno używany, co zresztą masz na screenie opisane. Ja go pamiętam w kontekście jakiegoś toola do znajdywania najszybszych tras do którejś Trackmanii, a w tym środowisku siedziałem dłuuugo przed LLMami ;)
  • Odpowiedz
PopeLeon
PopeLeon
  • 1
@totem_lesnych_ludzi: masz odpowiedź od AI może wyhalucynowaną ( ͡° ͜ʖ ͡°)

Pierwsze użycia (Lata 90. XX wieku)
W pierwotnym znaczeniu technicznym termin ten pojawił się w dziedzinie Computer Vision (komputerowego rozpoznawania obrazów).
Używano go do opisania procesów „uzupełniania” brakujących pikseli w obrazach o niskiej rozdzielczości (tzw. face hallucination).
Jedną z kluczowych prac była publikacja Simona Bakera i Takeo Kanade pt. "Hallucinating Faces" (2000), choć dyskusje na
  • Odpowiedz
tomaszs
  • 0
Trenowanie AI, żeby pisało kod, to jedno.
Trenowanie go, żeby używało narzędzi we właściwej kolejności, ogarniało stan aplikacji i nie rozwalało niczego po drodze? To już zupełnie inna bajka.

Nowy artykuł od Snowflake AI Research + UNC-Chapel Hill proponuje całkiem pragmatyczne podejście: wygenerować 1000 throwaway mini-apek, każda z bazą SQLite i API przez FastAPI + MCP, i pozwolić agentom trenować na tym.

Zamiast:
  • Odpowiedz

  • Otrzymuj powiadomienia
    o nowych komentarzach
totem_lesnych_ludzi
  • 0
@Kapiusek: to taki Lex Fridman po polsku?

Instytut Myśli Politycznej im. Gabriela Narutowicza zastąpi Instytut Dziedzictwa Myśli Narodowej im. Romana Dmowskiego i Jana Ignacego Paderewskiego – poinformowano w środę na stronie Ministerstwa Kultury i Dziedzictwa Narodowego (MKiDN).
  • Odpowiedz
Kapiusek
  • 1
@totem_lesnych_ludzi

to taki Lex Fridman po polsku?

Haha, zapomniałem, że on istnieje. Myślę, że jednak zbyt daleko idziesz, trochę libkuje ale generalnie nie jest źle.

Zabawnie się to czyta mając na uwadze, że przecież w demokratycznych krajach populistyczne idee wygrywają bo tego złego wrażego paskudnego "ludu" jest zwyczajnie więcej w kontrze do elit. Jak ta nieliczna elita ma wyższą wartość głosu niż liczniejszy lud, to w kraju panuje demokracja i jest cacy, ale
  • Odpowiedz
RenoJackson
  • 10
Jak można się zabezpieczyć jako lekarz przed nieuchronną bessą w tej branży? Kończe właśnie studia i niestety od momentu gdy na nie szedłem sytuacja zmieniła się nie do poznania, a przyszłość wygląda niezbyt dobrze. Nie chce obudzić się za 5-10 lat z ręką w nocniku.

Co się do tego przyczyniło?

1. Wybuch wojny na Ukrainie, zmiana prawa skutkująca niekontrolowanym napływem lekarzy spoza UE
2. Zmiana prawa skutkująca skokowym wzrostem liczby osób studiujących lekarski, dalsze plany
  • 31
  • Odpowiedz

  • Otrzymuj powiadomienia
    o nowych komentarzach
lorafenus
lorafenus
  • 10
@RenoJackson: za malo czytasz wykop, dlatego nie znasz. Wykopki twierdza ze lekarz jest w 6 miejscach jednoczesnie i w kazdym mu placa, oczywiscie najpewniej 1000 PLN/h a ... swistak siedzi i zawija w te sreberka..
  • Odpowiedz

Powiązane tagi