Wszystko

Najnowsze

Archiwum

a665321
a665321
  • 2
#webscraping #excel #datascraping #scraping

Miał ktoś może styczność z narzędziem seotoolsforexcel? bo chcę zbierać informację z domen, ale po pobraniu informacji z jednej domeny nie chce zrobić tego samego dla podobnej :< tam są jakieś ograniczenia czy co?
  • Odpowiedz

  • Otrzymuj powiadomienia
    o nowych komentarzach
a665321
a665321
  • 1
Mirasy wiecie może jak zrobić narzędzie, które będzie co np. tydzień wchodziło na spis wybranych stron i zapisywało wybrane wcześniej przeze mnie elementy do komórek w excelu? Tak żeby to się działo w miarę automatycznie.

Pod jakimi keywordami szukać? są może takie gotowe narzędzia? albo strony, poradniki, cokolwiek?
#excel #webscraping #scraping
  • 4
  • Odpowiedz

  • Otrzymuj powiadomienia
    o nowych komentarzach
kmiasko
  • 1
@ProstAP03: To nie odpowiedź na Twoje pytanie (bo mnie się nie chce - kontent jest ładowany przez XHR, a nigdy nie używałem cheerio), ale z Network Panel wynika, że wystarczy pobrać productid (no z formularza) -

#product_addtocart_form > input[type="hidden"]:nth-child(1)
i wysłać zapytanie

[https://www.g2a.com/marketplace/product/auctions/?id=81183&v=0](https://www.g2a.com/marketplace/product/auctions/?id=81183&v=0) podmieniając id oczywiście, żeby dostać dane z tej tabeli.
  • Odpowiedz
ddabadama
ddabadama
  • 1
Mirki, pytanie odnoścnie #scraping #datamining w #python.

Mam takie "drzewko" jak na zdjęciu. Chcę wyciągnąć coś z ostatniego różowego (powiedzmy tag 3). Jednak jak daję komendę blabla.3 to program wchodzi mi do czerwonego (tag 1) i wtedy do pierwszego różowego (tag 3)) [tak jakbym napisał blabla.1.3]. Jak mu powiedzieć, żeby szedł do ostatniego? Próbowałem funkcją find i findAll, ale nie chce mnie słchać.

#naukaprogramowania
ddabadama - Mirki, pytanie odnoścnie #scraping #datamining w #python. Mam takie "d...

źródło: comment_SYgcCJNe8da9yASLhff7c2sIhvWWLGdt.jpg

Pobierz
  • 7
  • Odpowiedz

  • Otrzymuj powiadomienia
    o nowych komentarzach
FiKsUmDyRdUm
  • 1
@ddabadama: używasz BeautifulSoup? jak tak to można na zaznaczonym elemencie wywołać .next_sibling, albo możesz użyć css selectora. Co to jest to blabla? Najlepiej jakbyś wrzucił przykładowy html tak jak kolega napisał.
  • Odpowiedz
b.....4
b.....4
  • 2
Murki, próbuję się od wczoraj zalogować przez HTML Unit do konta google'a ale cały czas dostaję stronę logowania. Użyłem już chyba wszystkich możliwych opcji WebClienta. Na stronie Google'a jest jeden trick, że trzeba kliknąć dalej między wpisaniem emaila, a hasła i nie jestem pewien czy to tak powinno wyglądać w kodzie jak zrobiłem.

kod

#java #scraping #programowanie
  • 8
  • Odpowiedz

  • Otrzymuj powiadomienia
    o nowych komentarzach
Eoghan
  • 1
@blue94: szczerze to miałem podobnie, najpierw był htmlunit pozniej kombinowałem z selenium i phantomjs, skończyło sie na selenium z chromem, ale logowanie to był dopiero początek problemów :-) jak zadziała jakieś Twoje rozwiazanie to daj znać
  • Odpowiedz
b.....4
b.....4
  • 0
@Eoghan: a co jakby przesyłać cookie zalogowanego użytkownika ( ͡° ͜ʖ ͡°) jak pobieram z chrome'a do curla śmiga ale przez postmana jest logowanie i teraz nie wiem czy warto to opakować w kod
  • Odpowiedz

Powiązane tagi