Tak MJPEG to máš každý snímek komprimovaný samostatně podle JPEG, není to nic moc efektivního. V konfiguračním dialogu toho asi nepůjde moc měnit, nejspíš kvalita v rozmezí 0% - 100%, tak s tím si můžeš pohrát. H264 nebo x264 je efektivnější, protože používají interframe kompresi (ta využívá informace z předchozích snímků a kóduje jen rozdíly). Dobré kvality lze dosáhnout dvouprůchodovým renderováním (two-pass).