Hej!
Mam pytanko. Gdzie mogę znaleźć algorytmy które zostały niedawno opracowane?

Szukałem na wiki, po pracach naukowych które zostały wypuszczone od 2018 roku, oczywiście też wpisywałem mnóstwo fraz w google ale nic konkretnego nie udało mi się znaleźć ( ͡° ʖ̯ ͡°). Pewnie będę musiał szukać w #machinelearning ale też jeszcze chciałem z innej dzieciny takie algorytmy poznać.

#programowanie #algorytmy i w
  • 4
  • Odpowiedz
  • Otrzymuj powiadomienia
    o nowych komentarzach

#machinelearning #deeplearning #webscraping #datascience #prawo
Mirki, czy wiecie jak obecnie w Polsce wygląda dokładnie prawo autorskie w kontekście gromadzenia treści na potrzeby naukowe? Mam konkretnie na myśli czy tworząc bazę danych obrazów (i ją nieodpłatnie udostępniając) w celu przetrenowania sieci nie łamię prawa? Czy na potrzeby akademickie jest to legalne? Co jeżeli bym gromadził zdjęcia z wyszukiwarek? Badał ktoś ostatnio taką kwestię?
  • 4
  • Odpowiedz
  • Otrzymuj powiadomienia
    o nowych komentarzach

Jakieś dwa lata temu chwaliłem się stworzeniem strony archiwizującej opóźnienia pociągów PKP i generującej proste prognozy opóźnienia na kolejny dzień.

Dziś chwalę się drugi raz, bo zaktualizowałem serwis do wersji 2.0 (na razie w wersji beta). Wersja ta zawiera dużo nowych funkcjonalności, całkowicie nowy UI oraz stworzony od podstaw model machine learning prognozujący opóźnienia pociągów na podstawie szeregu czynników, w tym opóźnień z poprzednich dni, różnych cech pociągu oraz danych pogodowych. Co więcej,
  • 59
  • Odpowiedz
  • Otrzymuj powiadomienia
    o nowych komentarzach

@jabl: Pewnie! Inspiracją do projektu był projekt Infopasażer Archiver (http://ipa.lovethosetrains.com/) oraz powiązane z nim repozytorium https://github.com/tmaciejewski/ipa. Moja część to modyfikacje kodu tak, aby działał efektywniej i pobierał dane dla wszystkich, albo przynajmniej zdecydowanej większości pociągów, modelowanie danych oraz opakowanie wszystkiego w jak najbardziej przyjazny użytkownikowi UI.

Sam serwis jest oparty na Django + baza w Postgresie. Zintegrowany jest z Infopasażerem poprzez wspomnianą wyżej i zmodyfikowaną bilbiotekę ipa, a także
  • Odpowiedz
@cohontes: Obecny model został wytrenowany na danych obejmujących okres 24 miesięcy i staram się utrzymać ten interwał chociażby po to, żeby model "nauczył się" interpretować miesiące czy też pory roku. Chociaż oczywiście to nie jest koniec i będę próbował też innych podejść.

Sprawdzam na bieżąco faktyczną realizację prognoz (generuję prognozy na wszystkie kombinacje pociąg+stacja) na około północy i sprawdzam potem w trakcie dnia jaki performance miał model na rzeczywistych opóźnieniach.
  • Odpowiedz
Mam dwa pomysły na prace dyplomowa magisterska z informatyki że specjalizacją w uczeniu maszynowym i zupełnie nie wiem na który z nich się zdecydować. Oba są dla mnie równie interesujące, na oba zezwala promotor.

1. Stworzenie bota "menedżera" do Fantasy premier league (wybiera się skład prawdziwych zawodników z ligi angielskiej i na podstawie prawdziwych występów zdobywa punkty). Ogólnie od wielu lat regularnie w to gram, a mając dostęp do takiej ilości danych piłkarskich
  • 9
  • Odpowiedz
  • Otrzymuj powiadomienia
    o nowych komentarzach

@Torres99: Stosowanie ML w tradingu jest bardzo nieoczywiste, proste pomysły typu sygnały kupna/sprzedaży na podstawie zachowań kursu, działają średnio i są mocno wrażliwe na overfitting. Za to jakbyś chciał wgryzać się mocniej w sam trading, potrzebowałbyś z roku solidnej nauki suchej inżynierii finansowej (analiza stochastyczna, mikrostruktura rynku), żeby dostać jakieś sensowne i świeże wyniki ze strategii z użyciem MLa. Z drugiej strony ML ma dużo zastosowań we współczesnej teorii portfelowej
  • Odpowiedz
#uczeniemaszynowe #machinelearning

Czy jest tu ktoś kto wytłumaczy mi cel stosowania algorytmu Connectionist temporal classification (CTC) w sieciach rekurencyjnych? 2-3 zdania.

Mam tylko tyle, że jest to algorytm pozwalający nam rozdizelać te same znaki w wyrazie np. food poprzez wprowadzenie koncepcji pustego znaku oraz to, że jest to funkcja straty.
  • Odpowiedz
  • Otrzymuj powiadomienia
    o nowych komentarzach

konto usunięte via Wykop Mobilny (Android)
  • 1
Hej. Zwracam się do mirunów z #sztucznainteligencja #machinelearning #programowanie itd

Mam datasety z plikami mp4 z gestami migowymi.
Zajmują ogromną ilość pamięci, więc napisałam skrypt który przytnie filmik na początku i końcu, kiedy osoba migająca stoi i nie wykonuje żadnych ruchów (miganie w takich plikach wygląda tak: osoba stoi, nagle coś machnie ręka i znowu stoi)

Czy może to jakoś wpłynąć na skuteczność trenowania sieci?
  • 5
  • Odpowiedz
  • Otrzymuj powiadomienia
    o nowych komentarzach

@Anesa: wpłynie na pewno, jak to ciężko mi powiedzieć. Może wpłynąć pozytywnie na szybkość nauki a potem robić fikołki jak podasz rzeczywisty input (bo nie uczyło się stania bez ruchu).
  • Odpowiedz
@Anesa: będziesz musiała zapewne robić dwa modele i inferencję kiedy aktywować migowy, może nawet trzy: czy mscha, czy miga, co mówi
  • Odpowiedz
#anonimowemirkowyznania
Panowie poważne pytanie czy 27 lat to za późno na #programowanie? Dokładnie #python. Sam pracuje w AP w finansach. Nic nadzwyczajnego. Angielski, excel, znajomość procesów i tyle wystarczy. Chętnie bym spróbował coś nowego, innego co da mi w przyszłości też lepszą kasę. Przejrzałem sobie różne vlogi o zastosowaniu tego języka i całkiem spoko. Mam też dużo wolnego czasu, który można wykorzystać na pożyteczniejsze
AnonimoweMirkoWyznania - #anonimowemirkowyznania 
Panowie poważne pytanie czy 27 lat ...

źródło: comment_1643668107r14RzYMLLdwXHplAoBiJpe.jpg

Pobierz
  • 17
  • Odpowiedz
  • Otrzymuj powiadomienia
    o nowych komentarzach

W #machinelearning jest takie pojęcie jak data leakage. Powiedzmy, że widzimy, że jest duża zależność między tym jednym parametrem, a przewidywanym wynikiem.
To co słyszałem, to to, że najpewniej tego parametru nie powinniśmy używać, ale to dla mnie nie do końca ma sens, bo jeśli coś jest nam znanym parametrem i w praktycznym ('produkcyjnym') wykorzystaniu modelu, nadal będziemy mieć do niego dostęp, to dlaczego mielibyśmy się go pozbyć?
#naukaprogramowania
JebawczanRysionu - W #machinelearning jest takie pojęcie jak data leakage. Powiedzmy,...

źródło: comment_1643469459zbGAHDNHSB0KezezrFdhbX.jpg

Pobierz
  • 2
  • Odpowiedz
  • Otrzymuj powiadomienia
    o nowych komentarzach

@JebawczanRysionu: tylko tutaj chodzi o dane, których nie będziesz miał na moment użycia modelu. Przykładowo próbujesz ocenić czy hipoteka się spłaci, a do tworzenia modelu użyłbyś zmiennej, która mówi czy klient miał zaległości w 3 miesiącu na tej hipotece, gdzie na moment oceny jeszcze tego nie wiesz.
  • Odpowiedz
@JebawczanRysionu: to co opisujesz to współliniowość statystyczna, i tak czasem lepiej żeby jej nie było bo mocno skorelowane cechy przy dużych odchyleniach będą powodować niewłaściwe estymacje wyników. Ale dużo zależy od danych jakie posiadasz, jeśli np. zakładasz, że zmienna mocno skorelowana z wyjściem nie powinna odbiegać od rozkładu i wartości które posiadasz w zbiorze treningowym to warto ją umieścić i sprawdzić jak będzie wpływać na wynik.
Data leak to zjawisko
  • Odpowiedz
mam 4 lata doświadczenia w webdev (nie licząc studiów), czy możliwe jest aby załapać się na jakiś staż związany z AI, ML lub Data Science bez większego doświadczenia i dobrej matmy? Mam tam jakieś niewielkie podstawy pythona, R i data science ale nic ponad to.
Webdevem rzygam i już podczas rozpoczęcia pracy w tym, wiedziałem, że nie chcę tego robić, no ale pieniążki były mi potrzebne do życia i na studia.
W
  • 13
  • Odpowiedz
  • Otrzymuj powiadomienia
    o nowych komentarzach

@vestige: Od 3 miesięcy jestem na stażu z DS. Muszę przyznać, że łatwo nie było, ale się da. Przeglądajcie pracuj.pl i linkedin i próbujcie aplikować na oferty juniorskie. Rekruterzy sami nie wiedzą kogo szukają :D Mi nauka zajęła może 4-5 miesięcy i może kolejne 3 miesiące na szukaniu pracy.
  • Odpowiedz
@Bulldogjob: ehhh, dałem się złapać na clickbajtowy tytuł. Argumenty przeciw sparkowi są prawdziwe ale w praktyce należy je pominąć z rozważań. Zwłaszcza argument o syntax pysparka vs pandasa
  • Odpowiedz
Jakie są stawki i jak wygląda rekrutacja na interna do samsunga? Dlaczego samsung, bo chciałbym pracować typowo nad czymś mlowym i w sumie obecnie oferty są chyba tylko od samsunga, bo większość to już chce seniorów.
Szczerze to głównie myślałem o Internship - Computer Vision Intern in Visual Computing Team ale moja wiedza z CV to obecnie są raczej typowo teoretyczne rzeczy DL, nie używałem jeszcze OpenCV, ewentualnie Internship - Natural Language
  • 16
  • Odpowiedz
  • Otrzymuj powiadomienia
    o nowych komentarzach

@agsbajahs: Na temat rekrutacji się nie wypowiadam, bo jak tam pracowałem w latach 2014-2016 to była zupełnie inna niż obecnie. Co do Samsunga jako takiego - wszystko zależy od zespołu do którego trafisz. Ja miałem super zespół i nauczyłem się ogromu rzeczy, które były podbudową całej mojej przyszłej kariery (to była moja pierwsza praca). Z tego co wiem w zespołach AI/ML etc. w Samsungu też jest całkiem fajnie.

Kolejny plus
  • Odpowiedz
Elo Macbookowe świry, krutka piłka - jak sądzicie, jakie jest lepsze rozwiązanie:
1) kupić Macbooka Air M1 w najtańszej konfiguracji (8GB RAM, 7-core GPU, 256GB dysk). W razie gdyby się za rok-dwa okazało że brakuje mocy/pamięci to sprzedać i kupić mocniejszego, może M2 jak już wyjdzie.
2) dopłacić znacząco i kupić Macbooka Air M1 w szybszej konfiguracji (16GB RAM, 8-core GPU, 512GB dysk). Nie martwić się że zabraknie mocy, mieć komputer na kilka lat,
  • 12
  • Odpowiedz
  • Otrzymuj powiadomienia
    o nowych komentarzach

@Heart: go m1 z 256/16gb ( ͡° ͜ʖ ͡°) cena idealna, zawsze możesz mieć dysk zewnętrzny. a na potrzeby ML uzyć jakiegoś collaba. Ewentualnie kiedyś egpu
  • Odpowiedz
robię prognoze (dane mam przygotowane tak jak dla zwykłego ML, nie TS), dla zaciemnienia tematu powiedzmy że jest to zoo i mam 100 zwierząt i historię ile one danego dnia zjadły, i teraz chcę zrobić prognozę na następny miesiąc :)

o ile na totalu odchylenie wychodzi nieźle to jak wchodzę w szczegóły to widze że na poszczególnych zwierzętach błąd jest niedopuszczalnie duży np. słoń czy wieloryb dostaje prognozę o połowę za małą,
  • 4
  • Odpowiedz
  • Otrzymuj powiadomienia
    o nowych komentarzach

via Wykop Mobilny (Android)
  • 1
@heniek_8: Można zrobić najpierw jakieś clusterowanie (podział danych na grupy dużych, małych zwierząt) a potem zrobić:
1) osobne modele dla nich
2) dodać przemnożenie przez jakiś współczynnik dla tych grup, np. dla dużych model x 0.5

Albo sprobowac regresje logistyczna?
  • Odpowiedz