"Ponadto z wynikiem 90 proc., Gemini 1.0 Ultra jest pierwszym w historii modelem, który "przewyższył ludzkich ekspertów" w MMLU (massive multitask language understanding) - teście, który wykorzystuje kombinację 57 przedmiotów (w tym matematyki, fizyki, historii, prawa, medycyny i etyki) do sprawdzenia zarówno wiedzy o świecie, jak i umiejętności rozwiązywania problemów. Dla porównania, Gemini 1.0 Pro uzyskał w tym samym teście 79 proc., GPT-4 87,3 proc., GPT-3.5 (czyli ChatGPT) 70 proc., a zaprezentowany w maju bieżącego roku model PaLM 2 78,4 proc."
Google udostępniło Gemini. Wyniki benchmarków pokazują, że przewyższa ChatGPT. Będzie on częścią BARDA.
https://spidersweb.pl/2023/12/google-prezentuje-gemini-sztuczna-inteligencja.html
"Ponadto z wynikiem 90 proc., Gemini 1.0 Ultra jest pierwszym w historii modelem, który "przewyższył ludzkich ekspertów" w MMLU (massive multitask language understanding) - teście, który wykorzystuje kombinację 57 przedmiotów (w tym matematyki, fizyki, historii, prawa, medycyny i etyki) do sprawdzenia zarówno wiedzy o świecie, jak i umiejętności rozwiązywania problemów. Dla porównania, Gemini 1.0 Pro uzyskał w tym samym teście 79 proc., GPT-4 87,3 proc., GPT-3.5 (czyli ChatGPT) 70 proc., a zaprezentowany w maju bieżącego roku model PaLM 2 78,4 proc."
Ciekawe podsumowanie:
https://twitter.com/rowancheung/status/1732416454497300701