Nejsem expert, takže jen co mě tak po přečtení napadá...
K čemu bude "sofistikovanému" zálohovacímu nástroji chunk o velikosti 1 B, když k němu bude muset udělat třeba 64 B hash a zapsat ho i jeho použití v databázi?
Pokud horní hranice u chunku bývá 64 kB, tak to pak nechápu co za odpadní program na deduplikaci používáš, když jen průměrná velikost chunku v tvém příkladě je 1 284 886 B, tedy přes 1 MB.
Je sice hezké, že deduplikační poměr je u tebe 7:1, ale ten vždy bude záležet na tom, co se zálohuje a co nového tam přibývá. V tvém případě se jedná jen o hodně málo modifikované soubory, protože ten deduplikační poměr u nových dat je 294.6:1 a to je poměr na základě chunků, v souborech to může dýt doslova otázka B.
Jo a ja bych to, že takový nástroj musí být 100% spolehlivý viděl jako docela hodně podstatný nedostatek, tam se toho může pokazit tolik Stačí třeba bug v algoritmu při zapisování do databáze a je po záloze A taky bych chtěl vidět jak taková deduplikační databáze vypadá, když bych vzal tebou uváděný údaj horní meze 64 kB na chunk, tak to máš při 64 B hashi velikost při 4 TB databázi 4 294 967 296 B a to je jen velikost chunků...
Co se týče ještě deduplikace tak si ji myslím každý může přidat (nevím teda jako jestli ofiko) i do win 10 jako myslím normálně origo balíček od Microsoftu co je třeba v serverových edicích s názvem Microsoft-Windows-Dedup-Package, balíček má necelé 4 MB, nezkoušel jsem ale.
A dalších pár poznámek:
- co se týče zálohování a velikosti, on třeba takový 7z pokud se něco komprimuje snadno tak udělá malinký soubor (příklad soubor.7z) a i pokud je hromada hodně podobných souborů tak vpodstatě ten komprimační algoritmus umí používat data z těch předchozích (příklad soubory.7z).
- na netu se třeba na zálohování windows iso na uložiště používá utilitka smv:
https://www.smartversion.com/cmdline.htm
která vytváří rozdílové svf soubory a nemusí se uploadovat celé iso (lze použít na cokoliv).
- Windows obsahuje knihovny na práci s patchováním konkrétně na to, co se používá v aktualizacích (neposílají se celé soubory, pouze rozdílové soubory na vytvoření novější verze ze staré a původní verze z novější), knihovny jsou to mspatchc.dll (vytvoření patche) a mspatcha.dll (aplikování patche) (obě knihovny obsahuje přímo Windows), ty taky myslím používá na zálohování systémových souborů ve složce WinSxS. Do Win 7 SDK k těm knihovnám byla přikládaná i exe utilitka (jde použít i ve win 10), pokud někdo nechce přistupovat k těm knihovnám přímo.