[aptitude]

Kocham embedding modele <3
To magicznie przeszukuje całą bazę w mniej niż sekundę, a dokładnie, po prostu przetwarza tekst na wektory i dopasowuje.
I to działa dla wszystkich języków (które zna), nawet z modelem 300m:

"Pies szczeka"    > [0.2, -0.5, 0.8, ...]
"Dog barks"       > [0.19, -0.48, 0.81, ...]
"Perro ladra"     > [0.21, -0.49, 0.79, ...] (hiszpański!)
"Chien aboie"     > [0.18, -0.52, 0.82, ...] (francuski!)

print("Ładowanie modelu...")
model_name = "google/embeddinggemma-300m"  # Mały, szybki model, ale wymaga token do HF aby pobrać
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModel.from_pretrained(model_name)
device = "cuda" if torch.cuda.is_available() else "cpu"
model.to(device)
print(f"Model załadowany na: {device}")

# Tutaj test mojego API <333
 curl -X POST http://localhost:8001/search \
  -H "Content-Type: application/json" \
  -d '{
    "query": "Jak ugotować makaron?",
    "documents": [
      "Przepis na spaghetti carbonara",
      "Instalacja bazy danych MySQL",
      "Gotowanie makaronu - instrukcja krok po kroku"
    ],
    "top_k": 2
  }'
{"query":"Jak ugotować makaron?","results":[{"text":"Gotowanie makaronu - instrukcja krok po kroku","score":0.8821830153465271,"index":2},{"text":"Przepis na spaghetti carbonara","score":0.8154900074005127,"index":0}]}%

#programowanie <3