w Japonii, to by nie wystarczyło na wynajem mieszkania i biedne życie

@100piwdlapiotsza: Bzdura. Średnia pensja w Tokio wynosi poniżej 10 tys. zł, a w innych miastach jeszcze mniej. Koszty życia w Japonii nie odbiegają mocno od kosztów życia w Polsce.

@fat-cartman: @tmtm Bielik to Mistral 7B po upscalingu do 11 miliardów parametrów.
Był dotrenowany na 200 miliardach polskojęzycznych tokenów (czyli w uproszczeniu na jakichś 150 miliardach słów), głównie pochodzących z polskiego internetu. Zgodnie z obecnymi przepisami AI Act model tego typu nie powinien być stosowany komercyjnie, ale Bielik został opublikowany przed wejściem w życie AI Act. Być może jakiś prawnik będzie znał odpowiedź, czy w takim przypadku obecne przepisyPokaż całość

@tmtm: Wybór bazowego modelu do dotrenowania to temat na dłuższą dyskusję, w której trzeba by wziąć pod uwagę różne kryteria. Ale przy założeniu, że miałbym do dyspozycji duży klaster obliczeniowy i moim celem byłoby uzyskanie jak najlepszego kompaktowego modelu (czyli takiego, który zmieści się na karcie "gamingowej"), najpierw dotrenowałbym większy model, przykładowo Llamę 3 70B, a następnie wykonałbym jego właściwą destylację do mniejszego modelu tak jak Google to zrobił wPokaż całość