[JamesJoyce]

#programowanie #programista15k #frontend #sztucznainteligencja

Panie i Panowie z frontendu, coś ciekawego dla Was.

Narzędzie do zagnieżdżania llmow bezpośrednio na stronie internetowej.

WebLLM is a high-performance in-browser LLM inference engine that brings language model inference directly onto web browsers with hardware acceleration. Everything runs inside the browser with no server support and is accelerated with WebGPU.

https://github.com/mlc-ai/web-llm

Jedno jest pewne, strony przyszłości będą wielkie.

[Romska_Palo_Ul_Laputa]

@JamesJoyce: a co tym można zrobić? Czatbota na stronie, czy dynamicznie generuje stronkę?

[JamesJoyce]

@Romska_Palo_Ul_Laputa: z tego co piszą, możesz mieć wpiętego lokalnego llma, który będzie działał na stronie i wprowadzał zmiany, których potrzebujesz. Możesz prostym sposobem wrzucić w strone customizowany chat oparty na llmach, co obecnie zajmuje sporo czasu i różnych kompetencji. Taka ollama z interfejsem, działająca bezpośrednio na stronie klienta.

[Romska_Palo_Ul_Laputa]

@JamesJoyce: czy dobrze rozumiem, że mogę temu czatowi kazać dorzucić do stronki dwa pola do jakiegoś formularza i on to zrobi?
Czy będzie takim lokalnym JSowym chatem GPT?

[JamesJoyce]

@Romska_Palo_Ul_Laputa: tak twierdzą twórczy. Ale nie testowałem.

[Romska_Palo_Ul_Laputa]

@JamesJoyce: jeśli działa naprawdę, to junior frątasie mają przegwizdane jeszcze bardziej niż do tej pory.

[JamesJoyce]

@Romska_Palo_Ul_Laputa: Ja nie znam się na FE, ale ludzie na X zachwycają się. Tutaj masz przykłady.

https://x.com/calebfahlgren/status/1836996669818224999?s=46&t=m4xgLKFgqFafJXbRTotN1Q

https://x.com/rohanpaul_ai/status/1816192384469995909?s=46&t=m4xgLKFgqFafJXbRTotN1Q

https://x.com/charlie_ruan/status/1761119698618310955?s=46&t=m4xgLKFgqFafJXbRTotN1Q

[JamesJoyce]

@JamesJoyce: Plus to działa na WebGPU https://developer.chrome.com/blog/webgpu-release?hl=pl

A to jest mocne.

[tylkosieturozgladam]

@JamesJoyce niestety, póki co to duża część rynku mobilnego blokuje przed rozpowszechnieniem tej technologii (jak zwykle: Safari). Trzeba będzie poczekać z rok lub dwa

[JamesJoyce]

@tylkosieturozgladam: Tak, bo to chyba technologia chromowa.

[pa6lo]

Czy będzie takim lokalnym JSowym chatem GPT?

@Romska_Palo_Ul_Laputa: Tak mi się wydaje. To rozwiązanie dla intranetu, które może ułatwić konfigurację lokalnych LLMów dokarmionych firmowymi danymi.

[zibizz1]

@JamesJoyce: Pare miesięcy było o tym że w Chromie jest zainstalowany Gemini Nano i przez API przeglądarki mozna sobie z niego korzystać. To widze bardziej customowe rozwiązanie dostarczone przez daną stronę, modele siedza w cachu i są lokalnie odpalane w przeglądarce. Chyba jednak wolę tą wersję z API przeglądarki

[Nullek]

@JamesJoyce: czy dobrze rozumiem, że mogę temu czatowi kazać dorzucić do stronki dwa pola do jakiegoś formularza i on to zrobi?

@JamesJoyce: @Romska_Palo_Ul_Laputa albo czytam inny opis, ale chyba nie ma tam o tym żadnego słowa.
A jedyne co wynika z całego opisu, że to gotowy "framework" zgodny z standardem api z open ai, potrafiący obsługiwać różne customowe modele LLM po stronie klienta w jego przeglądarce -

[JamesJoyce]

@Nullek: Wiesz co, ja mogłem coś pomylić, bo nie jestem specjalistą w tym rynku. Jeśli tak, to kajam się.

To, co opisałeś jest z pewnością funkcją tego narzędzia, jednak na relacjach użytkowników widzę też tę drugą funkcję. Tylko to chyba jednak działa tak, że tworzysz stronę przy pomocy któregoś z narzędzi https://zapier.com/blog/best-ai-website-builder/, na to nakładasz webllm, które korzysta z WebGPU, więc możesz prostym sposobem zrobić stronę z wbudowanym modelem językowym,

[JamesJoyce]

@Nullek chyba masz rację. To drugie zastosowanie osiągane było przy pomocy dodatkowych narzędzi. Więc nie jest ono wbudowaną funkcją weblllm. Przepraszam za zamieszanie.