Nie bardzo nawet wiem, jak o to dobrze zapytać, więc mam nadzieję, że #naukaprogramowania pomoże:

Napisałam webscraper w Pythonie do ściągania nagłówków z kilku stron internetowych i chciałabym gdzieś go wrzucić tak, żeby odpalał się co godzinę (albo działał cały czas, a wywołanie poszczególnych funkcji ustawię wewnątrz kodu o określonych godzinach). Google Cloud udostępnia konto na rok z $300 limitu za darmo, ale nie mam pojęcia, jak się za to
  • 12
  • Odpowiedz
  • Otrzymuj powiadomienia
    o nowych komentarzach

@ManfredMacx: Tak, nada się do nauki i "odhaczenia" AWS na CV. :-)
Praktycznie każdy provider VPS'ów oferuje to samo, ale z drobnymi różnicami. Ja osobiście korzystam z:
- OVH - jest najtańsze na rynku
- DigitalOcean - kiedy potrzebuję czegoś większego niż jest dostępne w OVH
- AWS - kiedy potrzebuję GPU

Polecam kupić https://www.ovh.pl/vps/vps-ssd.xml VPS SSD 1 za 15zł za miesiąc i tam hostować serwisy. Amazon LightSail jest 3*
  • Odpowiedz
#python #webscraping
Czołem. Nie jestem #programista15k ale staram się ułatwiać sobie życie w pracy używając prostych kodów w pythonie. No i teraz znalazłam kod do scrapowania, wypróbowałam w domu i ogółem dałoby radę użyć w pracy do jednego zadania, ale mam dwa problemy:
- nie mogę odpalić kodu w pracy, bo ustawienia proxy nie pozwalają, a niestety nie mam konta administratora na swoim kompie (nawet mi
  • 5
  • Odpowiedz
  • Otrzymuj powiadomienia
    o nowych komentarzach

@tusiatko: Możesz podłączyć się do tej strony z kompa w pracy przez przeglądarkę? Jeżeli tak, to po prostu ustaw takie samo proxy dla pythona. Na Linuksie wystarczy ustawić zmienne środowiskowe httpproxy i httpsproxy dla terminala w którym odpalasz Pythona.
  • Odpowiedz
Siema, mam rozkminę dot. scrapowania danych. Chcę zrobić projekt który polegałby na gromadzeniu danych z API jednej strony internetowej i późniejszej ich analizie używając skryptu Pythona. Problem jest taki ze scrapping planuję puścić bez przerwy przez kilka miesięcy. Co waszym zdaniem byłoby najrozsądniejszym rozwiązaniem w takiej sytuacji? AWS VM, pythonanywhere, mały domowy serwer?
#programowanie #informatyka #python #webscraping #api
  • 10
  • Odpowiedz
  • Otrzymuj powiadomienia
    o nowych komentarzach

#webscraping #programowanie

Szukam funkcjonalności do bota. Mam już parę rzeczy typu notowania walut, kryptowalut itd.
Jakie informacje chcielibyście codziennie dostawać w przystępnej formie?
  • 6
  • Odpowiedz
  • Otrzymuj powiadomienia
    o nowych komentarzach

@NastyChoco: jak dla mnie działa prawie OK dla wszystkich rozegranych kolejek. Gorzej z nierozegranymi, bo szukasz znaczników których w dalszych tabelach nie ma. Interesują Cię nierozegrane mecze w ogóle?
  • Odpowiedz
@NastyChoco: OK, na początek łatwiej będzie na słowniku, olej te klasy :)
Masz w ostatniej pętli (18 linia) tablicę gos = ona zawiera wszystkie znaczniki które udało się znaleźć w tabeli, bez podziału na konkretne mecze. Najpierw zamień to tak, żebyś był w stanie w jednym "obrocie" pętli obrabiać tylko jeden mecz. Czyli nie szukaj w tabeli od razu , a najpierw znajdź | (bo jeden tr = jeden mecz, albo
  • Odpowiedz
Mirki, pomóżcie! Gdzie znajdę dobrą bazę danych książek, która dałaby się przeszukiwać po ISBN?

Cel: napisać skrypt, który wciągnie listę ISBN zczytaną z kodów kreskowych moich książek, a następnie pobierze z netu i zapisze podstawowe dane - tytuł, autora, a mile widziane także: data wydania, wydawnictwo, liczba stron itp.

Problem: nie mogę znaleźć sensownego źródła; na razie napisałem napisałem to sobie na bazie Arosa (mają sporą i solidnie uzupełnioną bazę,
kurp - Mirki, pomóżcie! Gdzie znajdę dobrą bazę danych książek, która dałaby się prze...

źródło: comment_A5ZNDCJ5QfKr9hXMU63ts07hc2ioJ05W.jpg

Pobierz
  • 8
  • Odpowiedz
  • Otrzymuj powiadomienia
    o nowych komentarzach

@Metaforzysta: No, pytasz, po co mi ten skrypt? Czy po co mi baza moich książek? Czy po co mi umiejętności, które się nabywa robiąc takie ćwiczenia? Czy po co mi frajda, którą czerpię z robienia takich rzeczy?
[wyszło wystarczająco kaszebsko?]
  • Odpowiedz
#webscraping #excel #datascraping #scraping

Miał ktoś może styczność z narzędziem seotoolsforexcel? bo chcę zbierać informację z domen, ale po pobraniu informacji z jednej domeny nie chce zrobić tego samego dla podobnej :< tam są jakieś ograniczenia czy co?
  • Odpowiedz
  • Otrzymuj powiadomienia
    o nowych komentarzach

Mirasy wiecie może jak zrobić narzędzie, które będzie co np. tydzień wchodziło na spis wybranych stron i zapisywało wybrane wcześniej przeze mnie elementy do komórek w excelu? Tak żeby to się działo w miarę automatycznie.

Pod jakimi keywordami szukać? są może takie gotowe narzędzia? albo strony, poradniki, cokolwiek?
#excel #webscraping #scraping
  • 4
  • Odpowiedz
  • Otrzymuj powiadomienia
    o nowych komentarzach

#webscraping #webcrawling #internet #prawo #prawoautorskie
taguję #programowanie bo ktoś z tego tagu najprędzej odpowie na to pytanie

czy można sobie bez pytania pozbierać dane z różnych serwisów internetowych i wykorzystać je potem w pracy naukowej? chciałbym napisać program, który wydobędzie dane z filmwebu na temat kilkuset filmów - czy nie pytając się o zgodę właściciela serwisu można na tych danych
  • 5
  • Odpowiedz
  • Otrzymuj powiadomienia
    o nowych komentarzach

@mask0pat0l: imdb ma api do pobierania danych ze strony, nie robili by go gdyby nie chcieli aby ktoś od nich pobierał, na githubie sa do niego jakieś wrappery w różnych językach. filmweb nie wiem, nie używałem
  • Odpowiedz
@mask0pat0l: Nie wiem co chcesz zrobić, ale może Cię to zainteresuje:

Art. 29. Wolno przytaczać w utworach stanowiących samoistną całość

urywki rozpowszechnionych utworów oraz rozpowszechnione utwory plastyczne,

utwory fotograficzne lub drobne utwory w całości, w zakresie uzasadnionym

celami cytatu, takimi jak wyjaśnianie, polemika, analiza krytyczna
  • Odpowiedz