"load balancer" pro stahování
Zdravím, mám například situaci, kdy chci stáhnout soubory o velikosti 5GB, 1GB a 1GB. Cílem je, aby stahování dohromady bylo dokončeno co nejdříve.
Potřeboval bych tedy zohlednit následující faktory:
- rychlost mého připojení je malá, tudíž aby se největší soubor stahoval rychleji na úkor ostatních (v opačném případě, kdyby se všechny soubory stahovaly stejně rychle, by se na nejdelší čekalo).
- někdy je limitovaná rychlost stahování z daného serveru (v případě, že nějaká podmnožina z seznamu souborů ke stažení) je z jednoho serveru – potom, pokdu to jde, při souběžném stahování rozprostřít stahované soubory tak, aby se nestahovaly z jednoho serveru současně, pokud by to zpomalovalo (pokud je rychlost méh připojení dostatečně rychlá)
Existuje nějaký takovýhle program, který by tyhle věci uměl vzít v úvahu při sledování, aby pokud možno měl nějakou autodetekci (zkusí si stahovat ze serverů chvíli po jednom, chvíli ve skupině, aby určil, jestli cílový server nebrzdí a také aby zjistil rychlost mého připojení, což není tak horké, ta je relativně konstantní.)
IDM 6.28
aj pre integráciu do browsera, napr. FF od Mozilla:
IDM Integration Module 6.28.16
Nič lepšie a kvalitnejšie na súčasnom trhu neexistuje.
Nejako postradam logiku v tvojej uvahe,
Ak mas pripojenie o kapacite X je uplne jedno, ci stahujes subor po subore alebo vsetky 3 subory naraz. Vzdy narazis na kapacitu X, kde budes zabrzdeny. Vysledny cas stahovania bude rovnaky.
když začnu stahovat nejmenší soubory, a nejdelší soubor si nechám na konec (ani to není nutné, stačí, když nejdelší soubory se nebude stahovat nejvyšší možnou rychlostí), tak se pak ten soubor bude stahovat samotný a linka bude nevyužitá. Ano, tu logiku tam postrádáš. Ideální stahování je, když po celou dobu stahování se stahuji nejvyšší rychlostí mého připojení. To je důkaz sporem
Proč by byla nevyužitá? Ten soubor budeš stahovat snad vyšší rychlostí, než kdybys stahoval 2 soubory, ale poloviční rychlostí.
to sis vymyslel sám?
Toto ti automaticky nastavuje operační systém (pokud není nějak zmršený) a pokud současně tvoji rychlost stahování skýtá i server, ze kterého stahuješ. Pokud server dává 10 MB/s a ty můžeš stahovat 100 MB/s, tak je ti to houby platné.
Na druhou stranu existují programy, které umí zpracovávat stahování ve frontě a limitovat rychlost jednotlivých stahování. Automaticky to ale nejspíš nebude.
Některé nevěřícné odpovědi mě donutili k upřesnění. Moje OS( OSX, Windows, Linux) - u žádného z nich jsem nepozoroval (a ani neočekával!), že by bylo stahování nějak řízeno, i když jsem stahoval z prohlížeče, nebo přes cURL, wget. Proto se taky ostatně prám, kdyby se soubory stahovaly optimálně, tak bych se neptal.
Všechny OS, které jsi vyjmenoval, mají TCP/IP stack, který funguje optimálně a přenosy pomocí TCP fungují optimálně. Co máš tedy za problém?
Sám píšeš, že "- rychlost mého připojení je malá", tj. limit není na straně serverů, ale u tebe, tudíž je úplně jedno, který soubor bude IP stackem zkompletován jako první, bottleneck je jinde.
edit: "Stahování z více serverů" - to jsem nepochopil už vůbec; bez nějakého CDN to není možné, protože klient vůbec netuší, kde má ty tvé "alternativy" hledat.
Ano, rychlost mého internetového spojení je limitovaná a proto se ptám. (protože jinak bych se ptal jen na problém omezené rychlosti u cílového serveru jenom)
Díky Kilo.viktor za nápad, je to odpověď na 1/2 dotazu (rychlost cílového serveru) MOŽNÁ, protože nevím ještě, zda server omezuje konkrétní stahující IP a nebo je server globálně omezený. Myslím, ale že pokud něco takovéhle najdu, že to bude nějak omezené, placené, nebo s nějakým limitem.
touchwoord: Ano, toto chování u TCP/IP očekávám, že bude dělit rychlost stahování rovnoměrně(navíc dle mě stack vůbec nemá informaci od velikosti stahované souboru, tudíž to ani managovat nemůže) a tudíž bude způsobovat ten problém, že nedá přednost delším souborům , aby se stahovaly od začátku a byla jim přidělena vyšší rychlost. To je ten problém.
Ono v reálu je bottleneck na obou stranách, já mám 8Mbps a server umožní 2 Mb/s na soubor, ale na limit serveru jsem nenarazil (přesto věřím, že existuje, to říkal už bolek polívka, že ji taky neviděl.)
jenže on ji nedělí rovnoměrně. Upřednostňuje vyšší rychlosti a stabilnější připojení.
Stahovat maximalnou rychlostou pripojky a rychlostou tak predbehnut pomaly server sa dalo uz pred 1/4 storocim. Existovala sluzba, ktora umoznila poslat subor do emailovej schranky vytvorenej u poskytovatela. Z emailovej schranky na sieti poskytovatela sa stahovalo vzdy maximalnou rychlostou co umoznoval hardware u uzivatela. Vyskusaj patrat ci to este existuje.