[Takimemmam]

Cześć Mirki!

Chciałbym zbudować chatbota w technologii RAG na swojej stronie internetowej (django). Założenia:
-> klient wpisuje pytanie, model generuje odpowiedź z bazy z pliku json.

Musiałby być raczej wykorzystany zewnętrzny model, bo obecny serwer to tylko 1GB RAM...

Szukam na początek jakiegoś darmowego rozwiązania — traktując to bardziej jako test, jeśli coś z tego sensownego wyjdzie, pewnie pójdę w stronę ChatGPT lub innych płatnych rozwiązań.

Czy ktoś może próbował złożyć coś takiego w oparciu o jakieś darmowe modele i może się podzielić doświadczeniem?
Skłaniam się ku Hugging Face - są limity na darmowej wersji, ale do testów spokojnie by wystarczyło.
#ai #chatgpt #chatbot #python #it

[b.....7]

@Takimemmam zapytaj czata gipiti

[Mirkos2127]

@Takimemmam tylko wiesz że modele potrafią haucynować i to jest cecha która będzie zawsze. Jeśli ta strona miałbym sprzedawać to ktoś to popisał by odpowiednio jeszcze by uzyskał informacje że np sprzedające samochody po 1 euro( już była taka sytuacja)

[Takimemmam]

@bb007: Prowadzę z nim dyskusję już jakiś czas na ten temat :D Zaproponowane modele to: Hugging Face, OpenAI GPT, Rasa

[Takimemmam]

@Mirkos2127: Tak, to jest raczej luźna strona, bardziej w formie blogu, więc nie powinno być z tym problemu. Dodatkowo w technice RAG (wg tego co wyczytałem) odpowiedzi byłyby generowane tylko z pliku z "bazą wiedzy", którą sam przygotowuję, ale wiadomo, zawsze może się trafić jakiś błąd

[Mirkos2127]

@Takimemmam dobra przynajmniej tyle po prostu wiedz że tak te modele potrafią ale jak to tylko hobbystyczny projekt to nie powini się nic stać.

[blacktyg3r]

@Takimemmam na youtube od groma takich materialow, zakladam, ze samo django masz podstawy, reszte serio znajdziesz bez problemu.

[Takimemmam]

@blacktyg3r: Materiały na każdy temat można znaleźć w Internecie w ogromnych ilościach. Dlatego nie pytam o to, jak coś zrobić – z tym można sobie bez problemu poradzić, korzystając z dostępnych źródeł. Interesują mnie doświadczenia szanownych użytkowników Mirko, nie dlatego że nie potrafię zapytać ChatGPT ani znaleźć tutoriala na Google czy YouTube, ale aby uniknąć testowania wielu rozwiązań, które dla osób mających już praktykę w podobnych projektach mogą być oczywiste.