Vykonny vypocetni pocitac pro zpracovani velkych objemu dat
Pekny den,
chtel jsem pozadat o radu pri navrhu vykonne vypocetni sestavy. Jedna z uloh bude zpracovani velkeho objemu obrazovych dat (radove jednotky TB, rekneme cca do 10 TB). Tato data by mela byt hned pristupna na ulozisti. Pri zpracovani jsme schopni vyuzit vice jader (nyni na jinem stroji plne vytizime 6 jader). Zvazujeme vyuziti GPU pro paralelni vypocty.
Doposavad jsme nemeli zkusenost se zpracovanim dat tak velkych objemu, takze mne napadaji obecne otazky typu:
- zvolit workstation s potrebnou kapacitou na internich discich nebo serverove reseni pripojene k nejakemu poli?
- souvisejci volba CPU - bezny desktopovy nebo serverovy?
- ma smysl uvazovat o znackovem reseni (DELL,HP,...)?
Vim, ze je to hodne obecne zadani, ale budu se snazit ho pripadne zpresnit. Rozpocet - zaklad rekneme 30-40 000 CZK, asi bude mozne navysit, pokud budou argumenty :).
Predem diky moc za reakce,
M.
Pokud jde o max.výpočetní výkon procesoru tak je tu nová řada HASWELL-E
Viz:
http://www.ddworld.cz/aktuality/zakladni-desky-mb/ take-je-vam-bezny-pc-malo-na-asus-z10pe-d8-ws-muze te-nacpat-dve-18tijadra-a-4-grafiky.html
Ovšem navrhovat takovýto stroj si moc netroufám, nemám s tím zkušenost.
(asi bych nejprve položil dotaz u DELL, HP co oni nato)
No těch 214 000 jenom za CPU je paráda.
na toto má zmysel uvažovať o značkovom riešení,niečo napr. na báze xeon,hw raid/fibrechannel a spol....
nebylo by vhodnější si na to postavit nějakou farmičku?
Co tim myslis? Osvet mne prosim.
no prostě místo jedné drahé tlusté plečky koupit pár desek a levnějších CPU (zapojit to googlestylem, jen do nějaké konstrukce, nikoli do klasické budky), k tomu nějaký netboot do clusteru a jedem.
Většinou totiž vychází, že je levnější a výkonnější je pořídit vícero slabších řešení, protože paralelizace tak nemá úzké hrdlo v I/O, navíc je tam faktor redundance a možnost výkon škálovat dle potřeby (např. potřebuju navýšit výkon o 30%, tak dokoupím adekvátní počet nodů).
Samozřejmě to předpokládá několik věcí:
1. úloha musí být vhodná na clusterovou paralelizaci
2. je třeba si pořešit rozdělování úloh do clusteru
3. rozumné propojení počítačů (minimum je gigabit a výkonný centrální storage s minimálně 2 nabondovanými síťovkami, aby to mělo smysl)
a poslední věc: na toto je vhodnější linuxové prostředí, už kvůli jednodušší implementaci clusterového prostředí.
http://www.fi.muni.cz/~kas/p090/referaty/2002-podz im/skupina10/clustery.html
Jaký program to bude zpracovávat? Pokud nejde o vlastní řešení, bylo by nejvhodnější zeptat se na konfiguraci PC autorů toho programu.
Ono je toho vice, zcasti skripty psane v Pythonu vyuzivajici GDAL knihovny, zcasti Matlab.
M.
Takže asi hlavně matice, podporuje to nějaké výpočty pomocí CUCA/OpenCL? Farmičkou myšleno stádo počítačů v clusteru, ale v té ceně asi ne.
Předpoklad dlouhodobého chodu >> ECC + Xeon + SAS HDD + HW řadič >> pracovní stanice od HP, Dell...
Diky za reakce. Tak to vypada, ze se shodujete spis na nejakem profi reseni. Ok, zkusim oslovit DELL/HP, co mi nabidnou.
no za ty peníze to moc velká hitparáda nebude..
Teď jsem se dočetl, že to je řešení s matlabem. Pokud nemáš nějakou rozumnější multilicenci, tak asi clusterové řešení padá, protože cena licence matlabu převýší jakékoli náklady za HW.
U jednoho PC si dobře navrhni I/O, abys pak nebyl překvapen, že úzkým hrdlem se stane např. síťovka (cca 50-80MB/s)
Ok, diky moc za podnety.
M.
Prej Bitcoiny počítat se už nevyplatí, asi bude v nabídkách z druhé ruky množství hodne výkonných strojú vyskládaných k této zlatokopecké činnosti pro které není využití.
...