JamesJoyce
#programowanie #programista15k #frontend #sztucznainteligencja

Panie i Panowie z frontendu, coś ciekawego dla Was.

Narzędzie do zagnieżdżania llmow bezpośrednio na stronie internetowej.

WebLLM is a high-performance in-browser LLM inference engine that brings language model inference directly onto web browsers with hardware acceleration. Everything runs inside the browser with no server support and is accelerated with WebGPU.

https://github.com/mlc-ai/web-llm

Jedno jest pewne, strony przyszłości będą wielkie.
  • Najlepsze
  • Wszystkie komentarze
Nullek
@JamesJoyce: czy dobrze rozumiem, że mogę temu czatowi kazać dorzucić do stronki dwa pola do jakiegoś formularza i on to zrobi?


@JamesJoyce: @Romska_Palo_Ul_Laputa albo czytam inny opis, ale chyba nie ma tam o tym żadnego słowa.
A jedyne co wynika z całego opisu, że to gotowy "framework" zgodny z standardem api z open ai, potrafiący obsługiwać różne customowe modele LLM po stronie klienta w jego przeglądarce -
zibizz1
zibizz1
@JamesJoyce: Pare miesięcy było o tym że w Chromie jest zainstalowany Gemini Nano i przez API przeglądarki mozna sobie z niego korzystać. To widze bardziej customowe rozwiązanie dostarczone przez daną stronę, modele siedza w cachu i są lokalnie odpalane w przeglądarce. Chyba jednak wolę tą wersję z API przeglądarki
Romska_Palo_Ul_Laputa
@JamesJoyce: a co tym można zrobić? Czatbota na stronie, czy dynamicznie generuje stronkę?
JamesJoyce
JamesJoyce Autor
1
@Romska_Palo_Ul_Laputa: z tego co piszą, możesz mieć wpiętego lokalnego llma, który będzie działał na stronie i wprowadzał zmiany, których potrzebujesz. Możesz prostym sposobem wrzucić w strone customizowany chat oparty na llmach, co obecnie zajmuje sporo czasu i różnych kompetencji. Taka ollama z interfejsem, działająca bezpośrednio na stronie klienta.
Romska_Palo_Ul_Laputa
@JamesJoyce: czy dobrze rozumiem, że mogę temu czatowi kazać dorzucić do stronki dwa pola do jakiegoś formularza i on to zrobi?
Czy będzie takim lokalnym JSowym chatem GPT?
Romska_Palo_Ul_Laputa
@JamesJoyce: jeśli działa naprawdę, to junior frątasie mają przegwizdane jeszcze bardziej niż do tej pory.
pa6lo
pa6lo
1
Czy będzie takim lokalnym JSowym chatem GPT?


@Romska_Palo_Ul_Laputa: Tak mi się wydaje. To rozwiązanie dla intranetu, które może ułatwić konfigurację lokalnych LLMów dokarmionych firmowymi danymi.
JamesJoyce
JamesJoyce Autor
0
@Romska_Palo_Ul_Laputa: tak twierdzą twórczy. Ale nie testowałem.
JamesJoyce
JamesJoyce Autor
0
JamesJoyce
JamesJoyce Autor
0
@JamesJoyce: Plus to działa na WebGPU https://developer.chrome.com/blog/webgpu-release?hl=pl

A to jest mocne.
tylkosieturozgladam
tylkosieturozgladam
@JamesJoyce niestety, póki co to duża część rynku mobilnego blokuje przed rozpowszechnieniem tej technologii (jak zwykle: Safari). Trzeba będzie poczekać z rok lub dwa
JamesJoyce
JamesJoyce Autor
0
@tylkosieturozgladam: Tak, bo to chyba technologia chromowa.
JamesJoyce
JamesJoyce Autor
0
@Nullek: Wiesz co, ja mogłem coś pomylić, bo nie jestem specjalistą w tym rynku. Jeśli tak, to kajam się.

To, co opisałeś jest z pewnością funkcją tego narzędzia, jednak na relacjach użytkowników widzę też tę drugą funkcję. Tylko to chyba jednak działa tak, że tworzysz stronę przy pomocy któregoś z narzędzi https://zapier.com/blog/best-ai-website-builder/, na to nakładasz webllm, które korzysta z WebGPU, więc możesz prostym sposobem zrobić stronę z wbudowanym modelem językowym,
JamesJoyce
JamesJoyce Autor
0
@Nullek chyba masz rację. To drugie zastosowanie osiągane było przy pomocy dodatkowych narzędzi. Więc nie jest ono wbudowaną funkcją weblllm. Przepraszam za zamieszanie.