
#programowanie #programista15k #frontend #sztucznainteligencja
Panie i Panowie z frontendu, coś ciekawego dla Was.
Narzędzie do zagnieżdżania llmow bezpośrednio na stronie internetowej.
WebLLM is a high-performance in-browser LLM inference engine that brings language model inference directly onto web browsers with hardware acceleration. Everything runs inside the browser with no server support and is accelerated with WebGPU.
https://github.com/mlc-ai/web-llm
Jedno jest pewne, strony przyszłości będą wielkie.
Panie i Panowie z frontendu, coś ciekawego dla Was.
Narzędzie do zagnieżdżania llmow bezpośrednio na stronie internetowej.
WebLLM is a high-performance in-browser LLM inference engine that brings language model inference directly onto web browsers with hardware acceleration. Everything runs inside the browser with no server support and is accelerated with WebGPU.
https://github.com/mlc-ai/web-llm
Jedno jest pewne, strony przyszłości będą wielkie.

- Najlepsze
- Wszystkie komentarze







@JamesJoyce: @Romska_Palo_Ul_Laputa albo czytam inny opis, ale chyba nie ma tam o tym żadnego słowa.
A jedyne co wynika z całego opisu, że to gotowy "framework" zgodny z standardem api z open ai, potrafiący obsługiwać różne customowe modele LLM po stronie klienta w jego przeglądarce -
Czy będzie takim lokalnym JSowym chatem GPT?
@Romska_Palo_Ul_Laputa: Tak mi się wydaje. To rozwiązanie dla intranetu, które może ułatwić konfigurację lokalnych LLMów dokarmionych firmowymi danymi.
https://x.com/calebfahlgren/status/1836996669818224999?s=46&t=m4xgLKFgqFafJXbRTotN1Q
https://x.com/rohanpaul_ai/status/1816192384469995909?s=46&t=m4xgLKFgqFafJXbRTotN1Q
https://x.com/charlie_ruan/status/1761119698618310955?s=46&t=m4xgLKFgqFafJXbRTotN1Q
A to jest mocne.
To, co opisałeś jest z pewnością funkcją tego narzędzia, jednak na relacjach użytkowników widzę też tę drugą funkcję. Tylko to chyba jednak działa tak, że tworzysz stronę przy pomocy któregoś z narzędzi https://zapier.com/blog/best-ai-website-builder/, na to nakładasz webllm, które korzysta z WebGPU, więc możesz prostym sposobem zrobić stronę z wbudowanym modelem językowym,