[j_bateman]

Mirki spod tagów #programista15k oraz #programowanie oraz #python mam zagwozdkę od dwóch dni. Ogólnie to frontend here, ale potrzebuję coś zrobić w pythonie i nie jestem w stanie dojść do finału. Mianowicie, ma taki kod:

from bs4 import BeautifulSoup import requests

URL = 'jakasstronawww'

headers = {

"User-Agent": 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10.15; rv:75.0) Gecko/20100101 Firefox/75.0'}

page = requests.get(URL, headers=headers)

soup = BeautifulSoup(page.content, 'html.parser')

scripts = soup.find_all('script')[25]

print(scripts)

Co otrzymuję w print? Ano ten tag 'script', który mnie interesuje. Tag, który ma jakieś 1200 linii.
A struktura tegoż wygląda o tak:

[L.....k]

regex?
albo zakładając że masz tylko jedno storeId na cały skrypt, możesz znaleźć index stringa "storeId" w całym "scripts", i później wziąć wycinek od storeId do następnego przecinka.

Nie wiem czy da się ładniej

[j_bateman]

@Lunatik: Nie musi być ładnie. Ma działać. Mam wiele takich storeId, nie wiem ze 4 może. A mógłbyś podrzucić kawałek kodu jak to zrobić z regex?

[dean_corso]

@j_bateman: https://www.codegrepper.com/code-examples/php/beautifulsoup+iterate+children

[L.....k]

@j_bateman: na szybko z findem

storeidkey = "storeId: "
storeidindex = scripts.find(storeidkey)
startofstoreidindex = storeidindex + len(storeidkey)
endofstoreidindex = scripts[startofstoreidindex:].find(",")
storeid = scripts[startofstoreidindex: startofstoreidindex + endofstoreidindex]

regexem mi się nie chce
jak masz więcej storeId w tym skrypcie to ubierz to w while loopa

while scripts.find(storeidkey) =!

[j_bateman]

@Lunatik: Dziekowac

[L.....k]

@j_bateman: ten ostatni while loop jest niepoprawny, no ale coz wyslane :) po prostu przeszukuj wycinek scripts[endofstoreidindex]:]

[j_bateman]

@Lunatik: TypeError: unsupported operand type(s) for +: 'NoneType' and 'int' taki error wyrzuca :)

[L.....k]

@j_bateman: to debuguj ( ͡° ͜ʖ ͡°)

[arysto2011]

@j_bateman: Wyglada, ze to slownik. nie mozesz uzyc metody get?

store_id = window.appConfig.get('storeId')

[morsik]

@dean_corso: to nie zadziała, bo BeautifulSoup jest od HTML DOM, a nie od JavaScriptu.

RegExp to najbardziej chamska opcja i będzie działać dopóki ktoś nie zmieni kodu na stronie (i tu mowa nawet o zamianie pojedynczego cudzysłowu na podwójny czy tego typu bzdurach ( ͡° ͜ʖ ͡°))

Choć jak patrzę na to co zrobił @Lunatik to chyba była by czytelniejsza :P

regexp byłby (taki pythonowy już ładny):

[j_bateman]

@morsik: > zmiennagdziemasz_javascript

Hmm, czyli która zmienna, bo już się pogubiłem?...

[morsik]

@j_bateman: ta która Ci trzyma wnętrze ``

[j_bateman]

@morsik: Ok, tylko to jest "zewnętrzna" strona... rozumiem, że w odpowiedzi mam szukać który skrypt?

[morsik]

@j_bateman: kurde, nie wiem o co Ty mnie pytasz skoro sam zadałeś pytanie w którym napisałeś, że już sobie znalazłeś ten skrypt :D

[j_bateman]

@morsik: Nie :) nie wiem skąd mam wziąć nazwę skryptu. Nazwę zmiennej... Chyba, że ty mówisz o nazwie zmiennej w pythonie, która mi trzyma cały tag

[morsik]

@j_bateman no o tym mówiłem :D

[j_bateman]

@morsik: "TypeError: expected string or bytes-like object" Hmm. On tak jakby nie zwracał tego jako stringa tylko nie wiem jako co - tablicę? Obiekt?

[morsik]

@j_bateman bo to jest obiekt ;) nie pamiętam teraz dokładnie -musisz sprawdzić w dokumentacji - ale żeby wyciągnąć faktyczną wartość z taga (w tym wypadku "script" - czyli obiektu w Pythonie) jest do tego chyba parametr text (lub coś podobnego, musisz sprawdzić).

Więc dostaniesz do script poprzez scripts.text (lub podobnie, na telefonie jestem nie chce mi się sprawdzać, ale powinieneś dać radę po tych wskazówkach ;))

[j_bateman]

@morsik: Postaram się. Dzięki i tak za pomoc.