[JamesJoyce]

#sztucznainteligencja #si #programista15k #programowanie #it

Mireczki, jeśli chcecie mieć swoje prywatne ai na telefonie, dostępne offline zróbcie tak:

Pobierzcie aplikację Ways

W aplikacji:
Pobierzcie najnowszą Gemmę customizowana do działania na tel.
Pobierzcie dodatkowe modele to uzyskacie dostęp do transkrypcji notatek z dyktafonie.

Na moim iPhone Pro śmiga szybciej niż Claude.

[chillybilly]

@JamesJoyce: szybciej to znaczy jak szybko? Wrzuc np. "Opowiedz mi wszystko co wiadomo o centaurach" i pokaz tok/s

[JamesJoyce]

@chillybilly: 10-40 tol/sek

[JamesJoyce]

@chillybilly:

Centaurzy to istoty mitologiczne, które pojawiają się w różnych kulturach i opowieściach. Oto wszystko, co wiadomo o nich:

## Kultura i Pochodzenie
Pojawienie się centaurów jest związane z opowieściami o stworzeniu świata lub o mieszaniu się dwóch przeciwstawnych sił. Często są przedstawiani jako istoty hybrydowe, symbolizujące połączenie natury (wężowa)

[chillybilly]

@JamesJoyce: To z tym szybciej chyba przesadziles troche :) Ale awaryjnie offline i powiedzmy ze za darmo to 11tok/s jest spokojnie uzywalne bez tragedii.

porownawczo zostawiajac dane to Sonnet i Opus mi wypluwaja srednio ~45tok/s przez API.

[JamesJoyce]

@chillybilly: mam na mysli szybciej w kontekscie malych lokalnych modeli offline oczywiscie :) Plus przy tajnych danych na telefonie

[chillybilly]

@JamesJoyce: Odpalilem jeszcze na szybko google/gemma-4-26b-a4b Q4KM i googlegemma-4-e4b-it Q80` w LM Studio na PC z 5060 16GB i to juz smiga zajebiscie, 60tok/s, nawet za szybko do czatu, bedzie do automatyzacji moze zamiast Phi 4 bo wydaje sie madrzejszy :). Fajny model, dzieki, jakos mnie premiera ominela.

[a5f5c1]

@JamesJoyce: czemu na końcu odpowiedzi jest dopisek "w kontekście Vays"? Ta apka modyfikuje jakoś prompt dodatkowo za każdym razem?

[JamesJoyce]

@a5f5c1: prompt systemowy. Do zmiany. Taka autopromocja. Normalny prompt systemowy

Rozumiem. Chcesz, abym odpowiedział na prośbę "Opowiedz mi wszystko o centaurach", ale bez kontekstu Vays (czyli absolutnie ogólną wiedzę o centaurach).

Oto cała informacja o centaurach w najszerszym

[Foxbat]

@JamesJoyce: veźcie sobie to całe AI guwno wsadźcie tam gdzie było zawsze

[JamesJoyce]

@Foxbat: a gdzie było?

[kutafonixor]

@JamesJoyce: gemma4 to całkiem udane modele do swobodnej rozmowy. Jak tylko wyszły to testowałem, nie pamiętam który ale dense ten największy, chyba 31b i w swobodnych rozmowach był na tym samym poziomie co gpt. Brzmią bardzo naturalnie, do nietechnicznych zastosowań chyba najlepszy model który można odpalić na konsumenckim GPU