Jak zálohovat rychle velké množství dat
Dobrý den,
chtěl bych radu ohledně zálohování.
Známý vyprodukuje/pozmění za 24 hodin cca 3mil soborů s celkovou velikostí 2TB, tyto soubory potřebuje každý den zálohovat, jenže záloha na NAS v privátní síti zabere +/- > 70 hodin.
Jak se tolik dat dá zálohovat? Díky
A to se opravdu vzdy musi zalohovat celych 2TB? Nestaci zalohovat vzdy jen delty? Pripadne vyuzit deduplikaci?
Rob zalohovanie cez synchronizaciu.
Druha moznost je samozrejme rychlost citania a zapisovania dat.
Ja ma u zakaznika SSD pole, ktore ma este 2x512GB nvme cache a dostanem z toho ledva po siet 5-6Gb/s na 10Gb sietovkach.
Alew to preto, ze to brzdia SSD na serveroch, ktora viac na citanie proste nedaju.
Málo info... Jak rychlá je síť, jaký typ NASu, jaké disky v NASu,...?
Jestli jsi limitován hardwarem, tak s tím moc vymyslet nepůjde.
Známý je teda docela produktivní, když denně mění 3 miliony souborů. Nebo se jedná jen o špatnou optimalizaci.
To posílá soubory na NAS jednotlivě? Lepší bude zkomprimovat do jednoho archivu - menší velikost a rychlejší kopírování.
Na takové věci se používá RSYNC. NAS umí RSync server - stačí jej spustit, nastavit cíl zálohy. Na počítač nainstaluj RSYNC client.
Předpokládá to, že NAS i počítač jsou připojeny kabelem, ideálně na Gb síti, ne přes žádné blbé WiFi, aby se využila naplno rychlost.
Buď přenos pres 10gbit síť ale ani tam to nebude zrovna ideální.
Nebo přímé pripojeni druheho {tretiho} klasickeho tociciho disku v pc. Pak to snad stihne pres noc.
SSD neni moc vhodné kvůli omezené životnosti. Navic 4tb nejsou zrovna levné.
Ještě mě napadlo. Přece ty soubory mění průběžně (postupně). Není tedy nutné je zálohovat až na konci najednou.
Pokud se bude záloha spouštět několikrát denně, bude celková zátěž rozložená a nebude to takový nápor najednou na konci.
Jinak RSYnc by byl dobrá volba i z toho důvodu, že se přenáší rozdíly, ne vše.