[erwit]

Mirki z #cpp

Mam dlugi vector danych. Dziele go na kawalki i procesuje na osobnym korzystajac z std::launch::async. Nie ma data dependencies. Jezeli kawalkow jest 1000 to 1000 threadow zostanie odpalonych. Pytanie, czy moge zaufac schedulerowi, ze to jakos ogarnie, czy lepiej napisac semafor taki jak tu: https://www.reddit.com/r/cpp_questions/comments/5ih1g8/how_do_i_limit_the_number_of_threads_used_by/ i ograniczyc liczbe watkow do liczny rdzeni cpu? Martwie sie o to ze wzgledu na context switching.

[ponton]

@erwit: Raczej nie możesz zaufać, odpalenie 1000 wątków na jednej maszynie może ją bardzo mocno spowolnić. Dodatkowo nie masz za bardzo kontroli nad ilością tych wątków. tak przynajmniej zrozumiałem (bo to zależy od ilości kawałków, które zależą od danych wejściowych). Ja bym proponował zrobić jakiś thread pool, np. z użyciem boost::asio:

https://www.boost.org/doc/libs/1_66_0/doc/html/boost_asio/reference/thread_pool/thread_pool.html

ogólny tutorial boost::asio: https://www.gamedev.net/blogs/entry/2249317-a-guide-to-getting-started-with-boostasio/

[KrzaQ2]

@ponton: ło, w końcu w booście jest thread pool! Pamiętam jak całkiem niedawno potrzebowałem to musiałem naklepać na szybko sam.

[erwit]

@ponton: dzieki, niestety nie moge dodac boosta do projektu

@KrzaQ2: jest w standardwej bibliotece jakies standardowe, proste rozwiazanie out of the box do tego, czy musze sam pisac? Problem wydaje mi sie na tyle typowy, ze spodziewalbym sie jakiegos gotowego rozwiazania

[KrzaQ2]

@erwit: Nope, ale jak chcesz to się śmiało częstuj: https://github.com/KrzaQ/monalisa-cpp/blob/master/main.cpp#L18 - nie ma fajerwerków, ale chyba jest poprawnie (tyle co używałem to wyglądało ok)

[erwit]

@KrzaQ2: dzieki, to wyglada calkiem spoko: https://github.com/Fdhvdu/ThreadPool

[wolodia]

@erwit: Najlepiej użyć sensownej biblioteki. Programowanie na wątkach nie jest proste i bardzo łatwo o trudny do wykrycia błąd. Jeśli nie Boost, to może TBB albo przynajmniej OpenMP? W icc and gcc dostępny domyślnie, w clang też już powinien być standardowo.

Niestety, ale obecnie algorytmy w C++17 są mocno ograniczone i trudno określić liczbę wątków lub chunk size.

[erwit]

chyba jednak zalatwie to w ten sposob

for (...) {
 jobs.push_back(
 std::async(
 std::launch::async,

[Saly]

@erwit: najprościej będzie z OpenMP, ewentualnie możesz spróbować http://www.open-std.org/jtc1/sc22/wg21/docs/papers/2016/p0024r2.html , które na tą chwilę wspiera tylko ewentualnie kompilatory Microsoftu. W C++ jest jak w lesie, jeśli chodzi o executory, na szybko nie znajdziesz nic lepszego, niż OpenMP