[6.....2]

Mirki, próbuję napisać w C++ program, który będzie automatycznie pobierał dane ze stron internetowych (docelowo ebay). Z którą bym się nie połączył, dostaję błąd 400 - Bad Request Error. Moje zapytanie wygląda tak:
GET / HTTP/1.1\n\n
Co trzeba wysłać, żeby to jakkolwiek działało? Pytanie może głupie, ale jeżeli chodzi o zagadnienia związane z siecią jestem kompletnie zielony ( ͡° ʖ̯ ͡°)
#programowanie #siecikomputerowe #sieci #cpp

[cxnmlhuipwetr]

W HTTP końce linii to \r\n

[m.....o]

@6502: serwisy które można grabbowac zwykle zabezpieczają się przed tym. Potrzebujesz rotating proxy I nagłówków które udają przegladarke

[6.....2]

@cxnmlhuipwetr: Zmieniłem, nadal to samo ( ͡° ʖ̯ ͡°) Jak się próbuję łączyć z wypokiem to wywala Anti DDos protection xD

[Aldor]

@6502: Robisz ręcznie zapytanie HTTP? Moim zdaniem najlepiej użyć liba https://github.com/mrtazz/restclient-cpp Zdecydowanie prościej coś takiego idzie napisać w python/nodejs/golang niż w C++. ;)

[cxnmlhuipwetr]

@6502: Spróbuj HTTP 1.0, 1.1 wymaga dodatkowych nagłówków (chyba specyfikacji hosta).

[novopsico]

@6502: https://curl.haxx.se/libcurl/c/example.html

[cxnmlhuipwetr]

@6502: $ echo "GET / HTTP/1.1"$'\r\n'"Host: www.ebay.com"$'\r\n\r\n' | nc ebay.com 80 działa cacy (no, z wyjątkiem konieczności ogarnięcia TLSa). HTTP/1.0 bez nagłówka hosta też.

[6.....2]

@Aldor: @novopsico: Tak, robię ręcznie ( ͡° ͜ʖ ͡°) Dwa dni się męczyłem z ogarnięciem jakiejkolwiek biblioteki i mam dosyć. W tej chwili program łączy się z serwerem, więc jest jakikolwiek postęp.

[kao3991]

@6502: dlaczego w zasadzie c++? do takich zagadnień fajny jest Python albo Perl.

[6.....2]

@cxnmlhuipwetr:

WSAStartup->Success
Press any key to continue . . .
socket->Success
Press any key to continue .

[afe1]

@6502: w HTTP 1.1 musisz dorzucic Host header - jest obowiazkowy

[cxnmlhuipwetr]

@6502: Tak, trzeba sobie zrobić tunelik.

[6.....2]

@cxnmlhuipwetr: Dzięki cumplu ( ͡° ͜ʖ ͡°)
@kao3991: Tak myślałem, że zaraz się znajdzie jakiś mirek, który napisze, że C++ jest fe xD

[cxnmlhuipwetr]

@6502: $ echo $'GET / HTTP/1.1\r\nHost: www.ebay.com\r\n\r\n' | ncat --ssl www.ebay.com 443

[6.....2]

@cxnmlhuipwetr: Dziwi mnie tylko jeszcze jedna kwestia - jak łączę się ze swoją stroną, to w odpowiedzi dostaję tylko hitme.pl
========

[cxnmlhuipwetr]

@6502: Na pewno masz dobrze nagłówek Host wpisany?

[6.....2]

@cxnmlhuipwetr:
"GET / HTTP/1.1\r\nHost: www.mojastrona.pl\r\n\r\n"
nie chcę podawać dokładnego adresu, bo jeszcze mnie ktoś wystalkuje

[cxnmlhuipwetr]

@6502: Porównaj sobie z tym co wysyła przeglądarka (większość pozwala na zobaczenie surowych requestów)

[cxnmlhuipwetr]

@6502: Swoją drogą polecam scrapy do takiego rodzaju zabawy, masz sporo wbudowanych rzeczy - od obsługi różnych customizacji requestów, przez różne narzędzia do wyskrobywania danych (selektory css, xpath), sam mechanizm spidera (ogarnianie redirectów, błędów, ograniczenia zakresu, kolejkowanie, rozproszenie na wiele procesów) no i narzędzia do zrzutu danych (csv, json, xml, cokolwiek). No i w ciul pluginów, np do tych rotating proxies wspomnianych wyżej.

[xetrov]

Tak myślałem, że zaraz się znajdzie jakiś mirek, który napisze, że C++ jest fe xD

@6502: nie jest fe, ale to trochę dziwny wybór do robienia takich rzeczy i musisz zapewne wynajdywać sporo kół od nowa.