[Sidney1]

#java chcę sobie pobrać jakieś pierdoły z kilku hurtowni ceny etc. i zazwyczaj idzie dobrze, ale próbuje z farnellem nie mogę się połączyć. Z główną "http://farnell.com" mogę, ale z podstronami nie idzie :|
Kod w komentarzu.

[Sidney1]

public class Main {
public static void main(String[] args) throws Exception {
URL farnell = new URL("http://pl.farnell.com/keithley/dmm6500/digital-multimeter-bench-6-5-digit/dp/2840447?ICID=I-HP-LB-keithley-dmm");
BufferedReader in = new BufferedReader(new InputStreamReader(farnell.openStream()));
System.out.println("!!!!");

StringBuilder websiteSource = new StringBuilder();
String tmp = null;
while ((tmp = in.readLine()) != null) {
websiteSource.append(tmp);
}
in.close();
Document doc = Jsoup.parse(websiteSource.toString());
Elements h1Elements = doc.getElementsByClass("h1");

for(Element e: h1Elements) {
System.out.println(e.text());
}

}
}

[P.....d]

@Sidney1: Dej to na jakiegoś pastebina ( ͡° ʖ̯ ͡°)

[Sidney1]

@Psycho___________Dad: https://pastebin.com/FhU5d7Sh

[fegwegw]

ale z podstronami nie idzie

@Sidney1: tzn? Co się dzieje?

[Sidney1]

@fegwegw: kod zatrzymuje się na etapie otwierania strumienia, nie wyrzuca błędu, po prostu mieli mieli i nic się nie dzieje. Z innymi stronami działa.

[croppz]

@Sidney1: nie działa, bo nie dałeś nagłówków w zapytaniu. Z javą ci nie pomogę (a nawiasem mówiąc, średnio dobrałeś język do problemu), ale w pythonie wystarczy coś takiego:

headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64; rv:50.0) Gecko/20100101 Firefox/50.0'} 
r = requests.get('[http://pl.farnell.com/keithley/dmm6500/digital-multimeter-bench-6-5-digit/dp/2840447?ICID=I-HP-LB-keithley-dmm',headers=headers)](http://pl.farnell.com/keithley/dmm6500/digital-multimeter-bench-6-5-digit/dp/2840447?ICID=I-HP-LB-keithley-dmm',headers=headers))

[Sidney1]

@croppz jeśli się mylę to popraw, ale tutaj najpierw pobierasz source Code na podstawie linku, a potem z tego wyciągasz dane na podstawie naglowka. Tutaj staje na strumieniu.

[croppz]

@Sidney1: nagłówek jest wysyłany jako część zapytania. Bez niego efekt był identyczny jak u ciebie, wieszało się na zapytaniu i nie zwracało niczego. W ogóle to jeżeli nie masz jakiegoś mocnego powodu żeby to robić w javie to polecałbym raczej pythona i scrapy, da się ogarnąć w parę godzin.

[63274682374]

@Sidney1:
public class Main {

public static void main(String[] args) throws Exception {
URL farnell = new URL("http://pl.farnell.com/keithley/dmm6500/digital-multimeter-bench-6-5-digit/dp/2840447?ICID=I-HP-LB-keithley-dmm");
org.jsoup.nodes.Document doc = Jsoup.parse(farnell, 14444);
org.jsoup.select.Elements h1Elements = doc.getElementsByTag("H1");

for (Element e : h1Elements) {
System.out.println(e.text());
}

}

}

[Sidney1]

@63274682374: dzięki Qmplu!