Wszystko

Najnowsze

Archiwum

Bulldogjob
  • 0
Change Data Capture służy do efektywnego śledzenia modyfikacji danych przechowywanych w bazie danych. Sprawdź, jak wykorzystać w PostgreSQL z wykorzystaniem Debezium, żeby mechanizm działał bez zarzutu

https://bulldogjob.pl/articles/1184-mechanizm-change-data-capture-z-wykorzystaniem-debezium

#datascience #datascientist #postgresql #bazydanych
Bulldogjob - Change Data Capture służy do efektywnego śledzenia modyfikacji danych pr...

źródło: comment_1592302924ahyQTbdSjbTyYAUMf6bVMB.jpg

Pobierz
  • 3
  • Odpowiedz

  • Otrzymuj powiadomienia
    o nowych komentarzach
unpocoloco
  • 2
Hej, czy jest tu jakiś spec od R i modeli regresji logistycznej? Chcę stworzyć model regresji logistycznej, wiem że nie powinno być obserwacji odstających, ale jak te obserwacje znaleźć i później usunąć w R? W modelu liniowym jest odległość Cooka a tu? Będę wdzięczna za każdą pomoc
#ekonometria #matematyka #programowanie #naukaprogramowania #rstudio #statystyka #datascience #machinelearning
  • 3
  • Odpowiedz

  • Otrzymuj powiadomienia
    o nowych komentarzach
rafau1337
  • 2
@boa_dupczyciel @unpocoloco generalnie, to obserwacje odstające trzeba usunąć przed uczniem modelu ponieważ może Ci to zaburzyć model. Często się to robi ekspercko, lecz jak nie masz pomysłu jak to zrobić możesz spróbować metody między kwartylowej- usunięcie wszystkich wartości które są 1.5mniejsze od odległości miedzymwartylowej i usunięcie wszystkich wyższych od 1.5*odleglosc miedykwartylowa (narysuj sobie boxplot(zmienna) i wszystkie kropeczki za wąsami to outliery zgodnie z powyższą metodologią). Metoda coocka z tego co
  • Odpowiedz
wiecek3
  • 0
Uczyłem się ostatnio trochę webscrapingu. Jakie ciekawe i unikatowe dane mogę ściągnąć żeby poćwiczyć?
Zależy mi, żeby takie dane można było potem w ciekawy sposób analizować, a najlepiej jeszcze zrobić na ich podstawie jakiś model uczenia maszynowego.
Wymyśliłem sobie ściąganie informacji i cen używanych aut oraz mieszkań. Udało mi się już to zrobić, ale takie dane są lekko oklepane. Co jeszcze ciekawego zostało z najlepiej polskich stron internetowych?
#scraping #
  • 7
  • Odpowiedz

  • Otrzymuj powiadomienia
    o nowych komentarzach
ProfesorBigos
  • 2
@wiecek3: pozbieraj dane z wykopu, np dla każdego znaleziska lub wpisu listę zwartych tagów, datę dodania, liczbę komentarzy i plusów, a potem zrób model szacujący popularność na podstawie takich danych
  • Odpowiedz
wiecek3
  • 2
@ProfesorBigos: ej, to jest świetny pomysł! Dziękuję serdecznie, czegoś takiego potrzebowałem! Teraz tylko muszę się zabezpieczyć kilkoma proxy zanim zacznę scrapować, bo jak dostanę bana na wykop to nie wiem co zrobię xD
  • Odpowiedz
PhoenixPneuma
  • 1
Hej,

Mam pytania całkowicie początkującego w dziedzinie #machinelearning #sztucznainteligencja #datascience - być może głupie pytania i śmieszne, uczę się sam i ciężko bez oka doświadczonych osób ; >

a) Czy robienie modelu do predykcji to w praktyce może być kilka modeli - a dokładniej tak że wybierany jest na podstawie danych wejściowych odpowiedni model? Tzn. powiedzmy ze mam kategorię "Owoce" i "Warzywa" - mają te same kolumny, ale
  • 6
  • Odpowiedz

  • Otrzymuj powiadomienia
    o nowych komentarzach
L.....G
L.....G
  • 2
to co opisujesz to się chyba nazywa model ensembling - mi bardziej chodzi o to że na podstawie inputu idzie całkowicie inna scieżka - czyli czytam input, widzę kategorie Owoce i to już idzie swoją owocową scieżką - a warzywa lecą inna scieżką :) - nie chodzi o stackowanie modeli


@PhoenixPneuma: teraz dopiero chyba zrozumiałem o co Ci chodzi, rozpoznajesz N rodzai warzyw i M rodzai owoców.

No to jak
  • Odpowiedz
d.....z
d.....z
  • 15
Pod tagiem #devopsiarz (obserwuj lub czarnolistuj) publikuję od czasu do czasu informacje o ciekawych programach,
bibliotekach z działki #devops i nie tylko - najczęściej #golang i #python, ale też #rustlang i #haskell

Pełna wersja tego zestawienia ☞ https://devopsiarz.pl/zestawienia/zestawienie-linkow-materialow-09-06-2020/

A jeśli chcesz jeszcze więcej, zapisz się do mailingu ☞
  • 1
  • Odpowiedz

  • Otrzymuj powiadomienia
    o nowych komentarzach
psi-nos
psi-nos
  • 0
Wytłumaczy mi ktoś class-weight w scikit-learn, np. w drzewie decyzyjnym? Załóżmy że mam dane uczące z 3 klasami, liczby próbek 100, 10, 10. Jak rozumiem dla drzewa z domyślnymi ustawieniami zostanie wykorzystane wszystkie 120 próbek. A co w przypadku np. class-weight="balanced"? #sklearn #python #datascience #machinelearning
  • 2
  • Odpowiedz

  • Otrzymuj powiadomienia
    o nowych komentarzach
n0c0Mpr3h3nD
  • 0
@psi-nos: class_weight przypisuje wage do tego jak wazna jest klasa do trenowania drzewka, wiec zawsze wszystkie klasy beda wykorzystane.* Jako default jest ze kazda klasa jest rownomiernie wazna z pozostalymi. Balanced daje wage odwrotnie proporcjonalna do czestotliwosci wystepowania klasy.

* chyba ze przypiszesz wage 0, to wtedy klasa bedzie ignorowana
  • Odpowiedz
psi-nos
psi-nos
  • 0
@n0c0Mpr3h3nD: chodziło mi bardziej szczegółowo. Co to znaczy ważna. Ale już chyba ogarnąłem, że waga jest uwzględniana przy funkcji straty przy tworzeniu węzła drzewa (wyborze najlepszego podziału).
  • Odpowiedz
anonimowa
  • 2
Mirki i Mirabelki z #programowanie czy macie może godne polecenia materiały (bardzo przydatne byłyby też książki oprócz linków) które skupiają tematykę analizy obrazu i wykrywaniu obiektów najlepiej w #python? Teoria i praktyka, wszystko chętnie zobaczę. Chciałabym zaznajomić się z tematem od podstaw.
#programista15k #analizaobrazu #datascience i chyba trochę też #sztucznainteligencja
  • 5
  • Odpowiedz

  • Otrzymuj powiadomienia
    o nowych komentarzach
nofluffjobs
  • 5
Czwartkowy przegląd ofert pracy kierujemy do tych z Was, którzy poszukują pracy w obszarach takich jak Project Manager, Agile Jobs, Product Management, UX Designer, Support, Business Intelligence, Big Data i Business Analyst!

PROJECT MANAGER JOBS

- [REMOTE] IT Project Manager @ livespace.io 6.0k-9.0k (B2B), 5.0k-7.5k (UoP)
- [REMOTE] Agile Project Manager @ 10clouds.com 7.5k-9.5k (B2B)
  • 1
  • Odpowiedz

  • Otrzymuj powiadomienia
    o nowych komentarzach
niko444
  • 0
Czy jest jakiś program, cokolwiek co by umożliwiło wizualizację połączeń? np mam grupy z elementami i po kliknieciu elementu z grupy pokazuje mi gdzie ten element wystepuje w innych grupach albo jak zaznacze cala grupe to pokaze elementy wystepujace w innych grupach moze byc nawet w tabelce ale moze byc też inna forma. Może być w przeglądarce, może być program, cokolwiek. Najlepiej jakby było to interaktywne ale od biedy mogą być stałe
  • 2
  • Odpowiedz

  • Otrzymuj powiadomienia
    o nowych komentarzach
MrNihilist
MrNihilist
  • 0
Chłopaki, szybkie pytanie mam, bo nie jestem z branży, a muszę zrozumieć co do mnie kontrahent mówi.

Co oznacza interfejsowanie w branży IT / data?

Takie sformułowania:

"Logika
  • 5
  • Odpowiedz

  • Otrzymuj powiadomienia
    o nowych komentarzach
TurboDynamo
  • 1
@MrNihilist: no z kontekstu coś takiego wnioskuje. Zawsze możesz go dopytać. Kiedy ja rekrutuje(co prawda do Javy) i daje projekty do domu to zwykle robi to na mnie dobre wrażenie że ludzie się nie boją zadawać pytań. W tej branży zadawanie pytań raczej oznacza zainteresowanie niż brak jakiejś wiedzy. Bo wiesz może mu chodzić o zaprojektowanie np. webowego api, a może mu chodzić tylko o stworzenie interfejsu takiego jak mają
  • Odpowiedz
Masturbatron
Masturbatron
  • 1
@cl_master: A nie zrobił ci się shift w czasie o n? Na plocie oba szeregi zaczynają się w tym samym punkcie czasowym, natomiast szary jest o n punktów krótszy. Jeśli w ARIMIE parametr 'd' odpowiedzialny za różnicowanie miałeś dodatni to predykcje powinieneś przesunąć o n do przodu. To by wyjaśniało bycie "za szybkim".
  • Odpowiedz
dwrd
dwrd
  • 0
Czy istnieją jakieś sensowne certyfikacje z zakresu #machinelearning szczególnie jeśli wymagają znajomości #tensorflow ? entry-level, coś żeby poświecić szukając #praca na stanowisku ML engineer mając za sobą tylko staż
I przy okazji egzamin AI-100 #microsoft #azure to tylko kwestia przerobienia bazy 100 iluś pytań jakie można znaleźć na niektórych stronach? I jeśli tak to czy w ogóle warto, czy równie dobrze mogę
  • 5
  • Odpowiedz

  • Otrzymuj powiadomienia
    o nowych komentarzach
JamesJoyce
  • 0
@dwrd: Certyfikaty raczej niewiele dają. Jedyne co widziałem, że zainteresowało managera, będąc na rozmowie kwalifikacyjnej jako osoba techniczna, to dosyć spore osiągnięcia w Kaggle.
  • Odpowiedz
mprzemo
mprzemo
  • 0
Czy to jest poprawnie wyznaczy przedział ufności dla średniej przy nieznanej wariancji?

st.t.ppf([alfa/2, 1-(alfa/2)], loc=mu, scale=sigma/np.sqrt(df+1), df=df))

W odpowiedzi mam wynik taki jakby pod pierwiastkiem wstawić df ale coś mi się to nie zgadza z teorią.
#python #datascience #matematyka #statystyka
  • 2
  • Odpowiedz

  • Otrzymuj powiadomienia
    o nowych komentarzach

Powiązane tagi