Wpis z mikrobloga

#programista15k #programowanie #it #bazydanych #sql #sztucznainteligencja

Hej,
wydaje mi się, że w ostatnich latach wraz hypem na llmy, rośnie też zainteresowanie wykorzystaniem ich do wydobywania informacji z baz danych SQL. poprzez zapytania w języku lnaturalnym. Choć brzmi to obiecująco, rzeczywistość jest bardziej skomplikowana. Wbrew powszechnym przekonaniom, obecne modele oparte na Text2SQL wcale nie są tak skuteczne, jak mogłoby się wydawać.

Zainteresowanym polecam zapoznać się z pracą "Text2SQL is Not Enough: Unifying AI and Databases with TAG", która wskazuje, że istniejące metody, takie jak Text2SQL i Retrieval-Augmented Generation (RAG), nie radzą sobie z pełnym zakresem zapytań użytkowników. Badanie pokazuje wręcz, że standardowe metody są w stanie poprawnie odpowiedzieć jedynie na około 20% (!) zapytań.

Autorzy pracy zaproponowali w zamian model Table-Augmented Generation (TAG), który łączy możliwości llmów z mocą obliczeniową baz danych, poprzez dostarczenie zjednoczonego frameworku, który może zarządzać szerszym zakresem zapytań, w tym tych wymagających rozumowania semantycznego i wiedzy o świecie. TAG działa w trzech krokach:

Synteza zapytania: Generowanie zapytania SQL na podstawie naturalnego języka, wykorzystując zdolności semantyczne modelu językowego.
Wykonanie zapytania: Wygenerowane zapytanie SQL jest uruchamiane w systemie bazodanowym, co pozwala na efektywne przetwarzanie dużych zbiorów danych.
Generowanie odpowiedzi: Na podstawie wyników uzyskanych z bazy danych, model generuje odpowiedź w naturalnym języku.

Model TAG wykazuje znaczne ulepszenia w porównaniu do dotychczasowych metod, osiągając poprawę dokładności o 20-65%. To pokazuje jego skuteczność w rozwiązywaniu bardziej złożonych zapytań wymagających logicznego rozumowania na wielu wierszach bazy danych.

Dodatkowo, autorzy tej pracy wprowadzili nowy benchmark do pomiaru skuteczności tego typu systemów, co ułatwi dalsze porównania i rozwój tej technologii.

Benchmark można znaleźć tutaj: https://github.com/TAG-Research/TAG-Bench
A artykuł tutaj: https://www.arxiv.org/pdf/2408.14717
  • Odpowiedz
  • Otrzymuj powiadomienia
    o nowych komentarzach