Sposób na równoległe pobieranie dużej ilości danych w linuksie. Dla przykładu z użyciem youtube-dl.
Zbieramy sobie linki wideo do "temp.txt". Będą one służyć za argumenty dla polecenia youtube-dl. Instalujemy gnu-parallel (w debianach pakiet o nazwie parallel). Wykonujemy polecenie:
@m__ostry: Większość współczesnych serwisów trzyma wideo niezależnie od audio. Pobieranie w ten sposób i tak mija się z celem bo musisz potem wrzucić wideo i audio do kontenera, który to ogarnie. Druga sprawa, musiałbyś pisać osobno warunki do niektórych serwisów. I ostatnia rzecz. Tak aria jest spoko, ale ty tutaj mówisz o n połączeniach dla jednego pliku a ja o masowym pobieraniu n liczby filmów na raz.
(...) musisz potem wrzucić wideo i audio do kontenera, który to ogarnie (...)
ffmpeg -i video -i audio -c copy -map 0 -map 1 output.mkv — dalej kilkanaście sekund "obliczeń" dla ffmpeg i gotowe. Samo video pobiera się (co prawda przy moim internecie) ze dwa rzędy wielkości dłużej.
(...) musiałbyś pisać osobno warunki do niektórych serwisów (...)
Nie za bardzo rozumiem, co masz tutaj na myśli. Mógłbyś rozwinąć?
Zbieramy sobie linki wideo do "temp.txt". Będą one służyć za argumenty dla polecenia youtube-dl. Instalujemy gnu-parallel (w debianach pakiet o nazwie parallel). Wykonujemy polecenie:
cat temp.txt | parallel -j40 youtube-dl --no-progress {} \;
Przy czym:
cat temp.txt | ← Podaje listę argumentów dla parallel z pliku temp.txt
-jn ← liczba n wątków, które stworzy parallel. Jeśli chcemy by
ffmpeg -i video -i audio -c copy -map 0 -map 1 output.mkv— dalej kilkanaście sekund "obliczeń" dlaffmpegi gotowe. Samo video pobiera się (co prawda przy moim internecie) ze dwa rzędy wielkości dłużej.Nie za bardzo rozumiem, co masz tutaj na myśli. Mógłbyś rozwinąć?