Kopírování velkých souborů přes síť - poškozený soubor
Ahoj, v práci řešíme zálohování serveru na náš NAS synology. Součástí záloh je i mssql databáze (mdf a ldf soubory). Do minulého týdne nebyl problém, ale najednou se nám jedna databáze poškodila. Kopírujeme ze Serveru 1 na NAS a z něho pak na Server 2, kde už databáze byla poškozená - nešla otevřít. Tento problém máme jen u jedné konkrétní databáze, která má 170GB velký mdf soubor.
Nevíte čím by to mohlo být? servery jsou propojeny s NASem přes 10Gbps síťové karty. Na zálohování používáme robotask. Buď při kopírování nehodí žádnou chybu a tváří se že je vše ok, nebo dostanu chybu: The path in the source or destination or both was invalid. (124).
Nevíte čím by to mohlo být? Díky.
P.S.: Servery 1 a 2 běží na windows server 2012 (druhý na 2019). Synology má souborový systém Btrfs, komprimace dat je povolena. Server 1 (zdrojový) je virtuál.
Poskodena ramka? Ale to by sa prejavovalo pravdepodobne vsade.
To moze byt hocico.
úplně blbá - byla ta databáze odpojená ?
ne, jen vypnutí příslušných služeb mssql serveru a 10s pauza než se začne kopírovat, ale do minulého týdne to nedělalo problém
zkusil bych problém simulovat s kopií toho souboru (nejspíš jinak nic co má 170giga jinak nekopíruješ).
pro ověření integrity použij hash (md5 lépe sha512- funkce totalcomanderu)
kdysi dávno sem se s tím setkal, tehdy byl "naprclej" nějaký soubor tcp protokolu ovladače z xp měnil sem síťovky,kabely, ramky chyba se objevila jednou za dvě hodiny kopírování
může to být i takový špek, že se soubor ukládá na té nasce na HDD který má v tom místě kde je soubor vadný sektor a ty naskové hdd ten sektor přeskočí, nevím co tam máš, asi raid 1- jen sem se s tímto setkal u nas disku v pc.
ještě mě napadá, že to začneš z té nas1 na tu druhou kopírovat moc brzo, že se to ještě nestihne korektně celé uložit /a třeba zindexovat pokud tam jsou třeba časové zálohy nebo co s tím ještě ta nas všechno dělá/.
Jaká je zdrojová a cílová cesta? A jaký název souboru?
Ahoj, název je Isir.mdf
Zdrojová cesta je D:\Data\Isir.mdf
Cílová je \\i.p.adresa\Actual\NAZEV_SERVERU\Database\MSSQL\Data\
Hm, tak v tom problém asi nebude. Když to doteď fungovalo. Záhada hlavolamu....
jj zkusím ten kontrolní součet. Je možný že by se třeba restartovala síťovka?
Jak restartovala? Jako během přenosu? Může vypadávat spojení, s tím jsem se setkal. Mohla za to integrovaná síťovka. Tenkrát to byla asi nějaká vadná série desek, bylo nutno dokoupit PCI síťovku.
jj to jsem myslel - ještě zkusím dnes nastavit kopírování přes robocopy a zítra uvidím zda to bude ok
Stretol som sa so sieťovkou, ktorá kazila zapísované data na NAS. Bola to ale wifi karta, nepredpokladám, že zapisujete 170 GB cez wifi. To ale neznamená, že by LAN karta (jej driver) nemohla mať podobný problém. Stačí ak driver prepúšťa framy u ktorých nesedí kontrolna suma. Karta by mala takéto framy zahadzovať. Odskúšajte to testom, ktorý testuje len LAN bez toho aby niečo zapisoval na disk, napríklad iperf. Ak prenesiete 10 TB bez chyby, tak bude zrejme chyba inde.
A nekontroluje zalohovacia aplikacia na konci crc sucet nahodou?
Aplikácia môže kontrolovať akurát payload (obsah) datového framu, ale nie crc framu, ktorý je zhodeny prenosom na aplikačnú vrstvu. Crc framu, môže a často aj tak robí priamo hardware (LAN karta), alebo to počíta driver. Napríklad staršie 100 Mbps LAN karty to tak mali.
Nemyslel som ramce, myslel som crc vysledneho suboru, ktor b si mala kontrolovat aplikacia.
Ahoj, není to přímo zálohovací SW - jmenuje se to Robotask a tam si nastavuješ nějaké tasky, které si načasuješ. ty tasky si pak skládáš z jednotlivých kroků. Program jinak nic nekontroluje. A ohledně té síťovky - je to Dell server PowerEdge R320 na kterém v Hyper-V běží ten server. a síťovek je tam několik přičemž ta přes kterou se to kopíruje je QLogic BCM57810 10 Gigabit Ethernet - přímé propojení s NAS Synology kde je přidaná tato karta: produkt
Uvidím co se stane dnes v noci když to budu kopírovat přes robocopy a ne přímo nástrojem integrovaným v tom programu Robotask
Tak hlásím, že přes robocopy se to dnes povedlo - db byla nepoškozená a bylo to i o 10 minut rychleji zkopírované.
Ale co jsem koukal do logu tak se náhodně vyskytuje chyba při kopírování zip z toho zálohovacího NAS na druhý server (přes 10Gbps). Chyba je že se nepodařilo uzavřít soubor. A když jsem takový zip chtěl rozbalit, tak dost souborů bylo v zipu poškozených (7zip psal něco o špatných hlavičkách).
Když jsem zip smazal a znovu nakopíroval z toho NASu ručně (ve win ctr+c, ctrl+v), tak už byl zip nepoškozen. Začínám mít podezření jestli to nemrví ta přídavná síťová karta 10Gbps.
Z NASu to kopíruji pomocí linuxového příkazu cp do namountované složky druhého serveru (automatizovaně přes script který je v synology spuštěn přes plánovač úloh).
takže kdybys to kopíroval ze serveru1 na server2 jinou cestou, abys obešel nas s přídavnou síťovkou, chyba by neměla vzniknout.