Ťažko povedať, čo spôsobuje tie problémy, keďže to prehrávaš cez VLC, ktorý používa svoje vlastné DS filtre...
Ani vyťaženie CPU nie je vysoké, ovládače predpokladám nainštalované správne...

Fakt netuším, ale Tvoja zostava je modernejšia a výkonnejšia ako moja a ja prehrám klasiku -video pravdy "Samsung Demo Oceanic Life - x264.1080p.40Mbps-TESTOVACÍ VIDEO od SAMSUNGU" mkv úplne bezproblémovo.

Už len skúsiť iný prehrávač? Ja používam PotPlayer - Video Renderer mám nastavený na: EVR (Enhanced Video Rendering) pre akceleráciu videa za asistencie GPU (DXVA)...