"load balancer" pro stahování
Zdravím, mám například situaci, kdy chci stáhnout soubory o velikosti 5GB, 1GB a 1GB. Cílem je, aby stahování dohromady bylo dokončeno co nejdříve.
Potřeboval bych tedy zohlednit následující faktory:
- rychlost mého připojení je malá, tudíž aby se největší soubor stahoval rychleji na úkor ostatních (v opačném případě, kdyby se všechny soubory stahovaly stejně rychle, by se na nejdelší čekalo).
- někdy je limitovaná rychlost stahování z daného serveru (v případě, že nějaká podmnožina z seznamu souborů ke stažení) je z jednoho serveru – potom, pokdu to jde, při souběžném stahování rozprostřít stahované soubory tak, aby se nestahovaly z jednoho serveru současně, pokud by to zpomalovalo (pokud je rychlost méh připojení dostatečně rychlá)
Existuje nějaký takovýhle program, který by tyhle věci uměl vzít v úvahu při sledování, aby pokud možno měl nějakou autodetekci (zkusí si stahovat ze serverů chvíli po jednom, chvíli ve skupině, aby určil, jestli cílový server nebrzdí a také aby zjistil rychlost mého připojení, což není tak horké, ta je relativně konstantní.)
Některé nevěřícné odpovědi mě donutili k upřesnění. Moje OS( OSX, Windows, Linux) - u žádného z nich jsem nepozoroval (a ani neočekával!), že by bylo stahování nějak řízeno, i když jsem stahoval z prohlížeče, nebo přes cURL, wget. Proto se taky ostatně prám, kdyby se soubory stahovaly optimálně, tak bych se neptal.
Všechny OS, které jsi vyjmenoval, mají TCP/IP stack, který funguje optimálně a přenosy pomocí TCP fungují optimálně. Co máš tedy za problém?
Sám píšeš, že "- rychlost mého připojení je malá", tj. limit není na straně serverů, ale u tebe, tudíž je úplně jedno, který soubor bude IP stackem zkompletován jako první, bottleneck je jinde.
edit: "Stahování z více serverů" - to jsem nepochopil už vůbec; bez nějakého CDN to není možné, protože klient vůbec netuší, kde má ty tvé "alternativy" hledat.
Ano, rychlost mého internetového spojení je limitovaná a proto se ptám. (protože jinak bych se ptal jen na problém omezené rychlosti u cílového serveru jenom)
Díky Kilo.viktor za nápad, je to odpověď na 1/2 dotazu (rychlost cílového serveru) MOŽNÁ, protože nevím ještě, zda server omezuje konkrétní stahující IP a nebo je server globálně omezený. Myslím, ale že pokud něco takovéhle najdu, že to bude nějak omezené, placené, nebo s nějakým limitem.
touchwoord: Ano, toto chování u TCP/IP očekávám, že bude dělit rychlost stahování rovnoměrně(navíc dle mě stack vůbec nemá informaci od velikosti stahované souboru, tudíž to ani managovat nemůže) a tudíž bude způsobovat ten problém, že nedá přednost delším souborům , aby se stahovaly od začátku a byla jim přidělena vyšší rychlost. To je ten problém.
Ono v reálu je bottleneck na obou stranách, já mám 8Mbps a server umožní 2 Mb/s na soubor, ale na limit serveru jsem nenarazil (přesto věřím, že existuje, to říkal už bolek polívka, že ji taky neviděl.)
jenže on ji nedělí rovnoměrně. Upřednostňuje vyšší rychlosti a stabilnější připojení.
Stahovat maximalnou rychlostou pripojky a rychlostou tak predbehnut pomaly server sa dalo uz pred 1/4 storocim. Existovala sluzba, ktora umoznila poslat subor do emailovej schranky vytvorenej u poskytovatela. Z emailovej schranky na sieti poskytovatela sa stahovalo vzdy maximalnou rychlostou co umoznoval hardware u uzivatela. Vyskusaj patrat ci to este existuje.