Omlouvám se za dotaz, už jsem to vyřešil, měl jsem lépe hledat. Nevím jestli to napíšu správně, protože jsem to zjišťoval různě z netu a vesměs vše je psáno anglicky. V novější ovladačích chybí knihovny "nvcuvenc.dll", stačilo je doinstalovat (nakopírovat) do systému.
Knihovny stáhnete tady: http://www.mediafire.com/download/245898gb0wt4u1a/ nvcuvenc_337.94.rar
Poté archiv stačí rozbalit do C:\Windows
Asi to může pomoci i u jiných programů, které podporují funkci CUDA a v nastavení programu ji nelze zapnout.
Prosím o označení tématu jako vyřešený. Díky.