Aktywne Wpisy
3x32 +44
Linnior88 +8
Jak sobie radzicie z bardzo niskim poczuciem własnej wartosci ? Ostatnio zaczęłam się łapac na tym że się czuje gorsza od dosłownie wszystkich mimo, że nie pije nie palę , mam jakies tam hobby jak gotowanie, czytanie książek, spoko pracę
A mimo tego ciągle się czuje jak jakiś śmieć
Ból istnienia rozrywa mi dupę , czasem mam wrażenie że nie mam prawa chodzic po jednej ulicy z innymi ludźmi
A mimo tego ciągle się czuje jak jakiś śmieć
Ból istnienia rozrywa mi dupę , czasem mam wrażenie że nie mam prawa chodzic po jednej ulicy z innymi ludźmi
Aktywne Znaleziska
Zawiera treści 18+
Ta treść została oznaczona jako materiał kontrowersyjny lub dla dorosłych.
W tym momencie wykorzystuję kolejkowanie z wieloma consumerami, do każdego message'a wrzucam pojedynczy url, pobieram i scrappuję ją. Myślałem o zastosowaniu curlmultiinit i wrzucanie jako messega contentu strony, ale raz, nie wiem czy multi curl coś przyśpieszy, a dwa, czy tak duże messege nie będą problemem.
Myślałem też o użyciu wielowątkowości, ale nie wiem czy przyśpieszy to względem multiprocessingu (tzn. wielu consumerów).
Jakie inne dobre praktyki mogę zastosować przy tym projekcie? Inb4, nie zmienię języka.
#programowanie
możesz rozbić to na jeszcze dwa oddzielne message - jeden jako zaciągnięcie contentu strony i tutaj przetwarzać kilka urli jednocześnie na jednej wiadomości i zaciągać dane async way(po prostu guzzle async, a właśnie tutaj najlepiej by się swoole sprawdził), i puszczać drugi message wtedy gdy będzie content strony i url -
Ciekaw jestem odpowiedzi, ale swoją drogą, korzystając tylko z PHP to przeszedłbym do problemu podobnie, tzn. korzystałbym z dobrodziejstw np. Symfony Messenger i do tego jakiś porządny transport np. Redis, chociaż sam Doctrine wydaje się, że to "pociągnie'.
Ponadto każda czynność i zdarzenie na osobny Message\Event, wg. specyfikacji tego komponentu od Symfony.
Wtedy jak masz 1000 URL, to każdy trafia do osobnego zadania, które wykonywane są asynchronicznie. I wszystko
Właśnie myślałem o takim rozbiciu jak opisałeś, ale czy tak duże message (cały content strony ok. 500kb każdy), razy tysiące message nie będzie problemem, rabbit na słabym serwerze nie będzie się dławić?
@Jurix: Kiedyś robiłem coś podobnego jak szukałem mieszkania na ogłoszeniach typu Gumtree, pokrótce wyglądało to tak.
1. Pierwszy skrypt - wywoływany, co kilka minut min przez systemowy cron, ma za zadanie zebrać wszystkie widoczne url ogłoszeń, wypluwa dajmy
większość ogarniętych stron jak zobaczy spam requestami z IP z data center zablokuje cię już po kilku-kilkunastu sekundach, np instagram, wystarczy zrobić jakieś 100 zapytań na minutę i już proszą cię