chce zescrapować stronę, na której jest dużo textboxów i comboxów, w których są już konkretne wartości. Niestety w kodzie w htmlu wartości z tych boxów nie ma. Czy da się to jakoś zescrapować BeautifulSoupem, czy on po prostu wyciąga tekst z kodu html? Np. żeby znalazł value dla danego id. Dołączam screena jak to wygląda np. na wykopie, gdzie domyślny wartość z textboxa jest w kodzie html, u mnie tego nie ma #python #webscraping #html
@Oake: ale mówisz konkretnie o wykopie czy dałeś tylko przykład? Generalnie w kodzie HTML jest ta wartość i można ją spokojnie JSem wyciągnąć więc wątpię żebyś miał problem w pythonie. Musisz napisać więcej info a najlepiej wkleić kod jaki masz z pythona. Na innych serwisach możesz mieć problem że np. jakiś JS się odpala i modyfikuje DOM przez co nie możesz pobrać wartości bo ich po prostu w kodzie nie
@fiddle: soup = bs4.bs(response.text, 'html.parser'), ale co to ma za znaczenie? robiąć inspecta w przeglądarce nie ma tam szukanych przeze mnie wartośći
@Rst00: nie nie chodzi mi o wykop, to inna stronka. Wykop podałem jako przykład jak oczekiwałem, że będzie: jest textbox, w nim wartość domyślna "Najnowsze na stronie główna", inspectuję to i ten element ma atrybut "value" równy "Najnowsze na stronie główna". Tymczasem na mojej stronie jest tak: jest textbox, w nim wartość np. napis "Zupa", ale kiedy inspectuję tego textboxa w przeglądarce to ten element nie ma czegoś takiego jak
@fiddle: ok, a jakoś masz moze jakis pomysł jak to zrobic z selenium? bo teraz spróbowałem tak: element = driver.find_element(By.XPATH, 'xpath') element.text i zwróciło pustego stringa, nie znajduje tego tekstu. To dla textboxa, z kolei taka sama metoda dla comboboxa zwraca wszystkie możliwości tego comboboxa, zamiast tej która jest obecnie wybrana.
źródło: comment_1671025447fewUSZkFBzylXkI4QQ66KK.jpg
Pobierz@Oake: Imho przeglądarka embedded albo selenium i będzie git majonez.
element = driver.find_element(By.XPATH, 'xpath')
element.text
i zwróciło pustego stringa, nie znajduje tego tekstu. To dla textboxa, z kolei taka sama metoda dla comboboxa zwraca wszystkie możliwości tego comboboxa, zamiast tej która jest obecnie wybrana.
Komentarz usunięty przez autora