[MarteenVaanThomm]

Robię model profitowości kontraktów handlowych w #pracbaza i chciałbym podpiąć pod niego prosty model machine learning, który na podstawie wstępnej propozycji handlowca proponowałby zoptymalizowane parametry takiego kontraktu, tak aby dążyć do maksymalnej profitowości.

Coś w stylu, że tutaj damy trochę większy rabat, tutaj dla nas ciut większa prowizja, klient prawie nie zauważy, a dla nas to będzie znacząca różnica w profitowości takiego kontraktu.

1. Ile czasu realnie coś takiego mogłoby zająć? Cośtam w tensorflow sobie dłubałem wcześniej (prosty model do predykcji jednego parametru na podstawie tekstu), ale to było 2+ lata temu i czuję, że mało pamiętam + pewnie biblio się pozmieniały. Nie oczekuję wykalkulowanej odpowiedzi, coś bardziej w stylu czy to jest 2 tygodnie czy 2 miesiące czy bardziej 2 lata.

2. Jak by trzeba było się w obecnych czasach do tego zabrać? Podstawowy framework krok po kroku.

3. Dałoby się to podszyć pod excela, żeby handlowiec sobie tylko klikał button "Wziuuuu" w excelu i miał ten alternatywny scenariusz nawet siedząc z klientem na słuchawce, czy wszystko by musiało iść przez IDE?

Zanim napiszesz "hurr durrr, panie, kurła, to czeba softłer hałs rzemyielśniczy wynająć i czekać 5 lat za mylijon ełro, a nie że jaki chłopek se zrobi"

- to ma być prosty model, do którego załaduję dane z historycznych kontraktów, będzie tam jakieś 5-10 parametrów typu wolumen produktu, warunki płatności, prowizja, opłata1, opłata2 itd. i na podstawie tego model poda co przykładowo się bardziej opłaca obniżyć, żeby uatrakcyjnić ofertę dla klienta, a co ponieść, żeby zoptymalizować marżę. Matematycznie to jest typowy problem optymalizacyjny.

ChatGPT cośtam umie, ale póki co to #!$%@? farmazony i będę musiał dłubać samemu, więc jeśli przy okazji polecicie jakieś fajne źródełka to będę wdzięczny.

Jeśli jakiś entuzjasta by poratował radą przy kawusi to byłbym zobowiązany.

#python #tensorflow #programowanie #programista15k #datascience #bigdata #korposwiat #pytanie #it #pracait #machinelearning #ai

[arysto2011]

@MarteenVaanThomm: Model to pikuś. Najważniejsze są dane. Z matematycznego punktu widzenia sprawdź random forest, SVM.

[MarteenVaanThomm]

@arysto2011: danych miałbym nawet z 10 lat i to idzie w miliony rekordów, także to sobie obrobię, pytanie od czego w ogóle zacząć i jak ogarnąć pisanie modelu

[arysto2011]

@MarteenVaanThomm: Od obróbki danych masz je w tekscie, tabelach? To sa dane w tabeli, czy moze opisy wymagajace NLP i obrobki tekstu?

[MarteenVaanThomm]

matematycznego punktu widzenia sprawdź random forest, SVM.

@arysto2011: o, właśnie o takie wskazówki mi chodziło, dzięki Miras ( ͡° ͜ʖ ͡°)

[arysto2011]

o, właśnie o takie wskazówki mi chodziło, dzięki Miras ( ͡° ͜ʖ ͡°)

@MarteenVaanThomm: to jest dobre, jak twoje dane to tabelka z liczbami

[MarteenVaanThomm]

@arysto2011: dane mam eleganckie lub prawie eleganckie w tabelach, wyciągam je z ażura data studio. Wszystko co potrzebuję jest już numeryczne, żadne ekstrakcje na kiju nie są wymagane.

[arysto2011]

@MarteenVaanThomm: Jak masz numerki, to możesz sprawdzić kilkanaście różnych modeli i porównać. Od prostych typu RF, SVM do sieci DL. Wszystko jest możliwe.

Zobacz MLFlow... Albo zostań w Azure i zobacz Synaps.

Jak jestes w Data Studio i databricksie, to masz tam już możliwości ML

[cohontes]

@MarteenVaanThomm: a próbowałeś excela, solvera i po prostu optymalizacje? Bo mam wrażenie, że AI jest teraz tak modne, że wszędzie chcemy to wrzucać.

[MarteenVaanThomm]

@cohontes nigdy nie korzystałem z solvera, raz widziałem jakiś filmik, aż sam jestem ciekaw jak by wypadł na tle modelu ml. Strzelam, że nie wykorzysta pełnego potencjału takiej ilości danych jakie mam do dyspozycji. Ale obczaję temat, dzięki!

[Bejro]

@MarteenVaanThomm: jak masz dużo danych i ich model nie jest raczej skomplikowany to sieci neuronowe mogą łatwo być overkillem - model użyj jaki chcesz, ale nie przesadzaj z jego wielkością. Nie wiem też co dokładnie chcesz osiągnąć i dlaczego nie można tego po prostu policzyć. Jeśli masz zbiór zatwierdzonych "optymalnych" kontraktów i chcesz włożyć nowy nieoptymalny kontrakt aby go poprawić to możesz tu zastosować maszynę Boltzmanna. Ewentualnie zastosować redukcję wymiarowości, wyznaczyć

[MarteenVaanThomm]

@Bejro: dzięki bardzo, sporo ciekawych rzeczy piszesz.

Jeśli chodzi o równanie do średniej to tutaj nie zda to egzaminu. Dlatego, że jeśli mamy parametr X (jakaś opłata_2 powiedzmy) dla klienta równa 100, a w modelu referencyjnym, tym najbardziej profitowym ten parametr dąży do 20, to równanie 100 do 20, czy nawet 50 nie ma sensu, bo klient na to nie pójdzie. Nie chcemy tutaj przerabiać każdej propozycji kontraktu pod jeden słuszny

[pustelnikk]

@Bejro: możesz wytłumaczyć/odesłać do jakiegoś działu statystyki/ML skąd ten pomysł z redukcją wymiarowości, kde i przesunięciem? Co to daje w kontekscie problemu OPa?

[Bejro]

@MarteenVaanThomm ta średnia to taki skrót myślowy. Chodzi o dążenie w kierunku wyższego prawdopodobieństwa. Maszyna Boltzmanna zrobi coś podobnego ale nie będziesz mieć kontroli nad tym co się dzieje w środku. Jeśli x1 jest arbitralne i podasz x1=20 a faktycznie największą gęstość jest przy 100 to i tak z racji tego, że kontrakty mają różną wartość x1, przesuwając próbkę w kierunku przeciwnym do odchylenia standardowego x1 raczej mało się zmieni bo samo