Wszystko

Najnowsze

Archiwum

grad
grad
  • 220
Jakieś dwa lata temu chwaliłem się stworzeniem strony archiwizującej opóźnienia pociągów PKP i generującej proste prognozy opóźnienia na kolejny dzień.

Dziś chwalę się drugi raz, bo zaktualizowałem serwis do wersji 2.0 (na razie w wersji beta). Wersja ta zawiera dużo nowych funkcjonalności, całkowicie nowy UI oraz stworzony od podstaw model machine learning prognozujący opóźnienia pociągów na podstawie szeregu czynników, w tym opóźnień z poprzednich dni, różnych cech pociągu oraz danych pogodowych. Co więcej,
  • 59
  • Odpowiedz

  • Otrzymuj powiadomienia
    o nowych komentarzach
grad
grad
  • 10
@jabl: Pewnie! Inspiracją do projektu był projekt Infopasażer Archiver (http://ipa.lovethosetrains.com/) oraz powiązane z nim repozytorium https://github.com/tmaciejewski/ipa. Moja część to modyfikacje kodu tak, aby działał efektywniej i pobierał dane dla wszystkich, albo przynajmniej zdecydowanej większości pociągów, modelowanie danych oraz opakowanie wszystkiego w jak najbardziej przyjazny użytkownikowi UI.

Sam serwis jest oparty na Django + baza w Postgresie. Zintegrowany jest z Infopasażerem poprzez wspomnianą wyżej i zmodyfikowaną bilbiotekę ipa, a także
  • Odpowiedz
grad
grad
  • 6
@cohontes: Obecny model został wytrenowany na danych obejmujących okres 24 miesięcy i staram się utrzymać ten interwał chociażby po to, żeby model "nauczył się" interpretować miesiące czy też pory roku. Chociaż oczywiście to nie jest koniec i będę próbował też innych podejść.

Sprawdzam na bieżąco faktyczną realizację prognoz (generuję prognozy na wszystkie kombinacje pociąg+stacja) na około północy i sprawdzam potem w trakcie dnia jaki performance miał model na rzeczywistych opóźnieniach.
  • Odpowiedz
Torres99
Torres99
  • 0
Mam dwa pomysły na prace dyplomowa magisterska z informatyki że specjalizacją w uczeniu maszynowym i zupełnie nie wiem na który z nich się zdecydować. Oba są dla mnie równie interesujące, na oba zezwala promotor.

1. Stworzenie bota "menedżera" do Fantasy premier league (wybiera się skład prawdziwych zawodników z ligi angielskiej i na podstawie prawdziwych występów zdobywa punkty). Ogólnie od wielu lat regularnie w to gram, a mając dostęp do takiej ilości danych piłkarskich
  • 9
  • Odpowiedz

  • Otrzymuj powiadomienia
    o nowych komentarzach
goferoo
  • 9
@Torres99: Stosowanie ML w tradingu jest bardzo nieoczywiste, proste pomysły typu sygnały kupna/sprzedaży na podstawie zachowań kursu, działają średnio i są mocno wrażliwe na overfitting. Za to jakbyś chciał wgryzać się mocniej w sam trading, potrzebowałbyś z roku solidnej nauki suchej inżynierii finansowej (analiza stochastyczna, mikrostruktura rynku), żeby dostać jakieś sensowne i świeże wyniki ze strategii z użyciem MLa. Z drugiej strony ML ma dużo zastosowań we współczesnej teorii portfelowej
  • Odpowiedz
y.....8
  • 1
#uczeniemaszynowe #machinelearning

Czy jest tu ktoś kto wytłumaczy mi cel stosowania algorytmu Connectionist temporal classification (CTC) w sieciach rekurencyjnych? 2-3 zdania.

Mam tylko tyle, że jest to algorytm pozwalający nam rozdizelać te same znaki w wyrazie np. food poprzez wprowadzenie koncepcji pustego znaku oraz to, że jest to funkcja straty.
  • Odpowiedz

  • Otrzymuj powiadomienia
    o nowych komentarzach
A.....a
A.....a
konto usunięte via Wykop Mobilny (Android)
  • 1
Hej. Zwracam się do mirunów z #sztucznainteligencja #machinelearning #programowanie itd

Mam datasety z plikami mp4 z gestami migowymi.
Zajmują ogromną ilość pamięci, więc napisałam skrypt który przytnie filmik na początku i końcu, kiedy osoba migająca stoi i nie wykonuje żadnych ruchów (miganie w takich plikach wygląda tak: osoba stoi, nagle coś machnie ręka i znowu stoi)

Czy może to jakoś wpłynąć na skuteczność trenowania sieci?
  • 5
  • Odpowiedz

  • Otrzymuj powiadomienia
    o nowych komentarzach
Ark00
Ark00
  • 3
@Anesa: wpłynie na pewno, jak to ciężko mi powiedzieć. Może wpłynąć pozytywnie na szybkość nauki a potem robić fikołki jak podasz rzeczywisty input (bo nie uczyło się stania bez ruchu).
  • Odpowiedz
tptak
  • 3
@Anesa: będziesz musiała zapewne robić dwa modele i inferencję kiedy aktywować migowy, może nawet trzy: czy mscha, czy miga, co mówi
  • Odpowiedz
AnonimoweMirkoWyznania
  • 6
#anonimowemirkowyznania
Panowie poważne pytanie czy 27 lat to za późno na #programowanie? Dokładnie #python. Sam pracuje w AP w finansach. Nic nadzwyczajnego. Angielski, excel, znajomość procesów i tyle wystarczy. Chętnie bym spróbował coś nowego, innego co da mi w przyszłości też lepszą kasę. Przejrzałem sobie różne vlogi o zastosowaniu tego języka i całkiem spoko. Mam też dużo wolnego czasu, który można wykorzystać na pożyteczniejsze
AnonimoweMirkoWyznania - #anonimowemirkowyznania Panowie poważne pytanie czy 27 lat ...

źródło: comment_1643668107r14RzYMLLdwXHplAoBiJpe.jpg

Pobierz
  • 17
  • Odpowiedz

  • Otrzymuj powiadomienia
    o nowych komentarzach
J.....u
  • 4
W #machinelearning jest takie pojęcie jak data leakage. Powiedzmy, że widzimy, że jest duża zależność między tym jednym parametrem, a przewidywanym wynikiem.
To co słyszałem, to to, że najpewniej tego parametru nie powinniśmy używać, ale to dla mnie nie do końca ma sens, bo jeśli coś jest nam znanym parametrem i w praktycznym ('produkcyjnym') wykorzystaniu modelu, nadal będziemy mieć do niego dostęp, to dlaczego mielibyśmy się go pozbyć?
#naukaprogramowania
J.....u - W #machinelearning jest takie pojęcie jak data leakage. Powiedzmy, że widzi...

źródło: comment_1643469459zbGAHDNHSB0KezezrFdhbX.jpg

Pobierz
  • 2
  • Odpowiedz

  • Otrzymuj powiadomienia
    o nowych komentarzach
odrzutowakuchenka
  • 1
@JebawczanRysionu: tylko tutaj chodzi o dane, których nie będziesz miał na moment użycia modelu. Przykładowo próbujesz ocenić czy hipoteka się spłaci, a do tworzenia modelu użyłbyś zmiennej, która mówi czy klient miał zaległości w 3 miesiącu na tej hipotece, gdzie na moment oceny jeszcze tego nie wiesz.
  • Odpowiedz
mrocznapszczola
  • 2
@JebawczanRysionu: to co opisujesz to współliniowość statystyczna, i tak czasem lepiej żeby jej nie było bo mocno skorelowane cechy przy dużych odchyleniach będą powodować niewłaściwe estymacje wyników. Ale dużo zależy od danych jakie posiadasz, jeśli np. zakładasz, że zmienna mocno skorelowana z wyjściem nie powinna odbiegać od rozkładu i wartości które posiadasz w zbiorze treningowym to warto ją umieścić i sprawdzić jak będzie wpływać na wynik.
Data leak to zjawisko
  • Odpowiedz
kopyta_doskonale
  • 0
mam 4 lata doświadczenia w webdev (nie licząc studiów), czy możliwe jest aby załapać się na jakiś staż związany z AI, ML lub Data Science bez większego doświadczenia i dobrej matmy? Mam tam jakieś niewielkie podstawy pythona, R i data science ale nic ponad to.
Webdevem rzygam i już podczas rozpoczęcia pracy w tym, wiedziałem, że nie chcę tego robić, no ale pieniążki były mi potrzebne do życia i na studia.
W
  • 13
  • Odpowiedz

  • Otrzymuj powiadomienia
    o nowych komentarzach
szczepan-szczypawa
  • 1
@vestige: Od 3 miesięcy jestem na stażu z DS. Muszę przyznać, że łatwo nie było, ale się da. Przeglądajcie pracuj.pl i linkedin i próbujcie aplikować na oferty juniorskie. Rekruterzy sami nie wiedzą kogo szukają :D Mi nauka zajęła może 4-5 miesięcy i może kolejne 3 miesiące na szukaniu pracy.
  • Odpowiedz
inny_89
  • 1
@Bulldogjob: ehhh, dałem się złapać na clickbajtowy tytuł. Argumenty przeciw sparkowi są prawdziwe ale w praktyce należy je pominąć z rozważań. Zwłaszcza argument o syntax pysparka vs pandasa
  • Odpowiedz
agsbajahs
agsbajahs
  • 3
Jakie są stawki i jak wygląda rekrutacja na interna do samsunga? Dlaczego samsung, bo chciałbym pracować typowo nad czymś mlowym i w sumie obecnie oferty są chyba tylko od samsunga, bo większość to już chce seniorów.
Szczerze to głównie myślałem o Internship - Computer Vision Intern in Visual Computing Team ale moja wiedza z CV to obecnie są raczej typowo teoretyczne rzeczy DL, nie używałem jeszcze OpenCV, ewentualnie Internship - Natural Language
  • 16
  • Odpowiedz

  • Otrzymuj powiadomienia
    o nowych komentarzach
Strus
  • 1
@agsbajahs: Na temat rekrutacji się nie wypowiadam, bo jak tam pracowałem w latach 2014-2016 to była zupełnie inna niż obecnie. Co do Samsunga jako takiego - wszystko zależy od zespołu do którego trafisz. Ja miałem super zespół i nauczyłem się ogromu rzeczy, które były podbudową całej mojej przyszłej kariery (to była moja pierwsza praca). Z tego co wiem w zespołach AI/ML etc. w Samsungu też jest całkiem fajnie.

Kolejny plus
  • Odpowiedz
Heart
Heart
  • 0
Elo Macbookowe świry, krutka piłka - jak sądzicie, jakie jest lepsze rozwiązanie:
1) kupić Macbooka Air M1 w najtańszej konfiguracji (8GB RAM, 7-core GPU, 256GB dysk). W razie gdyby się za rok-dwa okazało że brakuje mocy/pamięci to sprzedać i kupić mocniejszego, może M2 jak już wyjdzie.
2) dopłacić znacząco i kupić Macbooka Air M1 w szybszej konfiguracji (16GB RAM, 8-core GPU, 512GB dysk). Nie martwić się że zabraknie mocy, mieć komputer na kilka lat,
  • 12
  • Odpowiedz

  • Otrzymuj powiadomienia
    o nowych komentarzach
heniek_8
  • 0
robię prognoze (dane mam przygotowane tak jak dla zwykłego ML, nie TS), dla zaciemnienia tematu powiedzmy że jest to zoo i mam 100 zwierząt i historię ile one danego dnia zjadły, i teraz chcę zrobić prognozę na następny miesiąc :)

o ile na totalu odchylenie wychodzi nieźle to jak wchodzę w szczegóły to widze że na poszczególnych zwierzętach błąd jest niedopuszczalnie duży np. słoń czy wieloryb dostaje prognozę o połowę za małą,
  • 4
  • Odpowiedz

  • Otrzymuj powiadomienia
    o nowych komentarzach
donfazzione
donfazzione
donfazzione
via Wykop Mobilny (Android)
  • 1
@heniek_8: Można zrobić najpierw jakieś clusterowanie (podział danych na grupy dużych, małych zwierząt) a potem zrobić:
1) osobne modele dla nich
2) dodać przemnożenie przez jakiś współczynnik dla tych grup, np. dla dużych model x 0.5

Albo sprobowac regresje logistyczna?
  • Odpowiedz
Darakan
  • 0
Cześć Mirasy, mam pytanie, czy robiąc porównanie różnych modeli klasyfikacyjnych na tych samych danych, gdzie jednym z nich jest SVM, powinno się zrobić standaryzacje zmiennych ilościowych dla wszystkich modeli, czy tylko dla SVM?
#uczeniemaszynowe #python #machinelearning
  • 5
  • Odpowiedz

  • Otrzymuj powiadomienia
    o nowych komentarzach
leoshelby
  • 1
@Darakan: koniec koncow jak wszystko sobie skladasz w pipeline'y i porownujesz ze soba wyniki, to tylko jedna dodatkowa transformacja dla svm, knn, lr itd, wiec mozesz dorzucic tenbkrok dla modeli opartych na drzewach, ale tak jak pisal kolega wyzej, guzik to da
  • Odpowiedz

Powiązane tagi