Já se tomu ještě pořádně nevěnoval, je tam hodně možností, jak jsem to zkoušel, tak mně myslím fungovalo tady to:

ffmpeg -filter_complex ddagrab=0,hwdownload,format=bgra,format=pix_fmts=yuv420p -c:v libx264 -crf 0 -an desktop.mkv

... to crf je nastavení kvality, 0 je lossless, default je u x264 číslo 23.
A jak jsem psal, tady to je jen takový nástřel na test .-)
Operovat se může i s hw nahráváním (jak vstup, tak i enkodování), RGB (nemusí se to cpát do yuv420p), atd.