scrapowanie przeszlo pomyslnie, 2793 strony głównej z wykopaliskami, komentarzami, odpowiedziami do komentarzy + hashtagi, zawołania, nawet kolor nicka udało się wyciągnąć - łącznie jakieś 3,5gb danych do analizy ( ͡° ͜ʖ ͡°)

teraz pora na oczyszczenie danych i text mining komentarzy na wykopie ( ͡° ͜ʖ ͡°)

#dataisbeautiful #machinelearning #statystyka #python #apachespark #bigdata
kodi1911 - scrapowanie przeszlo pomyslnie, 2793 strony głównej z wykopaliskami, komen...

źródło: comment_iHqByudjm3hG5YvdN42R9ngcjVtdGy12.jpg

Pobierz
  • 28
  • Odpowiedz
  • Otrzymuj powiadomienia
    o nowych komentarzach

#kodi #xbmc #python

chciałbym napisać wtyczkę która pozwoliłaby mi na:
- zapisywanie loginu i hasła usera (settings) - ZROBIONE
- jeżeli user wpisał dane (poprawne, jakaś walidacja?) to wyświetli mu się lista filmów do odtworzenia w wideo->addons listy filmów ktore moze odtworzyć,
- jeżeli wpisał złe to komunikat że musi poprawić dane
  • 9
  • Odpowiedz
  • Otrzymuj powiadomienia
    o nowych komentarzach

Tutaj jeszcze staty scrapiego powinien na conajmniej 10k stron wejsc a zatrzymuje sie na drugiej:

2016-06-03 12:02:51 [scrapy] INFO: Dumping Scrapy stats:
{'downloader/requestbytes': 232,
'downloader/request
count': 1,
  • Odpowiedz
Myślę, że dość ciekawy kurs #python w #gdansk. Niby to urząd pracy, no i wiadomo jak te unijne kursy..., ale wygląda dość konkretnie:

Powiatowy Urząd Pracy w Gdańsku rozpoczyna nabór osób zainteresowanych wzięciem udziału w najnowszym projekcie szkoleniowym – Programista Python. Kurs podzielony będzie na dwie części. Uczestnicy zajęć najpierw przejdą blisko 300 godzinny blok wykładów. Pod okiem doświadczonych ekspertów Pomorskiej Fundacji Inicjatyw Gospodarczych poznają podstawy programowania w
  • 9
  • Odpowiedz
  • Otrzymuj powiadomienia
    o nowych komentarzach

Prowadziłem w ramach tych kursów kilka zajęć ale dla edycji javowej. Jak ktoś się łapie na te dofinansowane z UP to spoko, polecam. Edycja komercyjna kosztuje chyba od 5 do 7k i trwa to jakieś 3 msc po 4 dni w tygodniu. Pracuje ze mną dwóch ziomków i jedna koleżanka, którzy przyszli na ten kurs w zeszłym roku i na prawdę super dają sobie radę. Z jednym z nich teraz robię projekty
  • Odpowiedz
@Polinik: Tak na prawdę UP po prostu sypnie kasę, rekrutacją zajmują się już osoby z fundacji. Każdemu później zależy żeby taka osoba dostała się chociażby na okres próbny, bo umiejętności dopiero widać jak rosną jak ktoś dostanie prawdziwe taski. Chyba, że ktoś jest na tyle zaangażowany, że rzeczywiście dużo w domu ćwiczy. Fajny jest efekt jak np prowadziłem zajęcia w odstępie 2 msc od siebie, tj najpierw podstawy, a później
  • Odpowiedz
  • 1
Infomirki macie jakiś dobry tutorial do githuba i Openstack? Znam podstawy programowania, ale w przyszłym tygodniu zaczynam prace w nowej firme i chciałbym zrobić sobie powtórkę. Mogą być po angielsku

#programowanie #openstack #php #python
  • 31
  • Odpowiedz
  • Otrzymuj powiadomienia
    o nowych komentarzach

Yo Mircy,
Walczę ze streamingiem Video w Pythonie. Przy TCP wszystko było pięknie, ale gdy postanowiłem przejść na UDP żeby zwiększyć performance i ogólnie sprawdzić jak to będzie dzialało w takim wariancie, wszystko się pospypało... Tzn... ja się posypałem na etapie serializacji. Chyba moje obrazki są za duże żeby je wysyłać, a pytona nie znam na tyle, żeby to rozpykać na własną rękę w sensownym czasie więc zwracam się o pomoc. Napisałem
  • 2
  • Odpowiedz
  • Otrzymuj powiadomienia
    o nowych komentarzach

#python #programowanie Mirki, mam taki projekcik, w którym pobieram sobie dane z internetowej bazy danych i jest opcja zapisu w pliku. Ogólnie dane wyciągam z htmla przez parser i teraz pytanie jak uzyskać taki input jak na obrazku, pobieranie z htmla robię w ten sposób http://wklej.org/id/2487350/ jednak uzyskuje straszny chaos w pliku http://wklej.org/id/2487361/ . Jak to uporządkować?
D3xxT3r - #python #programowanie Mirki, mam taki projekcik, w którym pobieram sobie d...

źródło: comment_v4AD78cSMlgiHdrNBDj22SRQU6kBOQzy.jpg

Pobierz
  • 7
  • Odpowiedz
  • Otrzymuj powiadomienia
    o nowych komentarzach

Czy możliwe jest ładowanie asynchronicznie strony przez requests.get tak żeby pobrać całą treść strony, także tą ładowaną przez javascript? Szukam w dokumentacji i nie widzę.

#python
  • 4
  • Odpowiedz
  • Otrzymuj powiadomienia
    o nowych komentarzach

Mirki, jakie distro polecacie do pracy z PyCharm i kilkoma uruchomionymi systemami w vmware no i włączonym firefoxie? Na windows 8.1 nie miałem problemów z wydajnością, natomiast na linuksie przy takiej ilości uruchomionych programów system mi się wiesza co jakiś czas na kilkadziesiąt sekund. Próbowałem już ubuntu unix i gnome oraz mint cinnamon i xfce. Do tej pory miałem mało do czynienia z linuksem.
#linux #mint #ubuntu
  • 20
  • Odpowiedz
  • Otrzymuj powiadomienia
    o nowych komentarzach

Dla wszystkich z #programowanie zastanawiających się czy jednak wybrać #python jako swój język, pisane przez gościa co w tym języku robi naprawdę poważne rzeczy.
https://www.paypal-engineering.com/2014/12/10/10-myths-of-enterprise-python/
Wymagany podstawowy angielski ( ͡º ͜ʖ͡º)
Też dla wszystkich trollujących, że #python się nie nadaje do niczego poza #naukaprogramowania

#python
  • 10
  • Odpowiedz
  • Otrzymuj powiadomienia
    o nowych komentarzach

@amb97:
0. Odpowiedź jest złożona, a (IMHO) pytanie zawiera błędne założenia.
1. oprogramowanie użytkowe (jak byśmy go nie definiowali) jest pisane w Pythonie, myślę, że w tej chwili wyprzedza C (mówimy o aktualnie tworzonym), może pozostałe dwa wymienione również.
1a. http://githut.info/ - to oczywiście tylko jedno źródło, ale dość dobrze oddające bieżącą popularność.
2. OSy to domena C (np. Linus w chory sposób nienawidzi C++) ze względu na łatwość przewidzenia jak
  • Odpowiedz
@piotrb: 1a zdecydowana więkość kodu jaka powstaje w C# jest zamknięta i nie trafia do publicznego code review.
Dodatkowo, wielokrotnie projekty webowe, czyli C# + javascrip + html + css githuh domyślnie oznaczał jako javascript więc tak bardzo bym się tym nie sugerował. Ot, inna "kultura" tworzenia kodu i tyle.
  • Odpowiedz
POMUSZ WYKOPKU
nie mogę znaleźć nigdzie jak zrobić konwersje numpy.ndarray do png, bez zapisywania pliku
numpy.ndarray generuje odczyt webcama za pomocą cv2 i potem wyswietlam png na stronie, działa ale zapisuje na dysk i potem odczytuje... jak to w locie zrobic?

ret, capture = self.cap.read()
if (ret):
  • 4
  • Odpowiedz
  • Otrzymuj powiadomienia
    o nowych komentarzach

Dzien dobry, jest 9:00 rano! Dzięki za wszystkie dobre słowa do tej pory, projekt powoli się rozwija. Ze względu na to że to projekt po godzinach, wszystko jest rozłożone w ratach. Nie chcę też wypuścić czegoś niedopracowanego. A pracuje nad rozbudowanym prototypem bloga z ciekawymi funkcjami. Tak się zastanawiałem dlaczego to zacząłem robić i nasmarowałem coś takiego. Pomagał sam Simon Sinek, ale nie tylko to jego zasługa. :)

Dlaczego?
Nie ma takiej drugiej społeczności,
C.....a - Dzien dobry, jest 9:00 rano! Dzięki za wszystkie dobre słowa do tej pory, p...

źródło: comment_mnfY1XjjknzhIE0M30ajDSFVdAIqKAOk.jpg

Pobierz
  • 3
  • Odpowiedz
  • Otrzymuj powiadomienia
    o nowych komentarzach

@ChrisFella: Wspaniali ludzie to jedno, ja obowiązkowo dorzuciłbym upór w dążeniu do celu - a kolega @Rezix jest tego dokonałym przykładem. Niewiele ludzi poza "kreatywnymi" wie ile potrzeba włożyć w to samodyscypliny i trudu a przez to poświęcić życie prywatne i "społeczne".
Ja osobiście jestem wyznawcą toerii tysiąca godzin, twierdzę że nikt nie jest urodziny z "darem" i musi poświęcić ogrom czasu na coś co szczerze kocha, bo tylko
  • Odpowiedz