[Borysek_tygrysek]

#programista15k #ai #programowanie
Jakbyście podeszli do napisania czegoś w rodzaju chatu GPT, ale z danymi firmy, pozyskanymi przez slacka, discorda, confluence etc?
Jakich narzędzi użyć? UI może być wystawiony przez bota w slacku.

[n0c0Mpr3h3nD]

@Borysek_tygrysek: o tak: https://aws.amazon.com/blogs/machine-learning/quickly-build-high-accuracy-generative-ai-applications-on-enterprise-data-using-amazon-kendra-langchain-and-large-language-models/

[JamesJoyce]

@Borysek_tygrysek słowa kluczowe: langchain, llama index i najważniejsze RAG

[Borysek_tygrysek]

@n0c0Mpr3h3nD zrobiliśmy POC używając Kendry i stanowiła ona 99% kosztów rozwiązania :D
Szukam teraz czegoś tańszego, co ewentualnie możemy hostować sami

[pan_bogus]

@Borysek_tygrysek: nie potrzebujesz żadnego llama index ani Langchain. Po 1. musisz upewnić się, że te dane możesz wrzucić do GPT. Po 2. masz generalnie dwie opcje, fine tuning albo RAG. RAG to tylko fancy nazwa na wrzucanie zewnętrznych informacji do kontekstu i cały trud polega właśnie na tym jak to zrobić. Jak masz mało danych to możesz wrzucić wszystko i model sobie pewnie poradzi (chociaż przy wielkich kontekstach skuteczność będzie

[n0c0Mpr3h3nD]

@Borysek_tygrysek: a to trzeba sprawdzić czy da radę się to postawić z Haystackiem https://github.com/deepset-ai/haystack , będzie trochę więcej roboty wiadomo

[mateuszWW]

prywatny model w azure, dane wrzucone do azure ai search zeby sie zaindeksowaly do modelu, ewntualnie mozesz uzyc azure ai studio (jak chesz sie bawic pythonem) also MS copilot studio jako low code solution zeby podpiac dane "na zywo" jako "search endpoint".

nie trzeba tranowac modelu od zero ani go fine tunowac, nie ma to sensu. Fine tuning jest tylko potrzebny jesli model nie ogarnia twojego contextu biznesowego, a i wtedy nalezy