No ona třeba není nikde chyba
Zkusím vysvětlit.
Za prvé, primární režim enkodování x264/x265/libsvtav1 (případně i libaom-av1) je CRF.
Což je nastavení kvality s jakou kodek enkoduje, defaultní číslo u x264 je 23, u x265 je 28, libsvtav1 35.
Ani stejná hodnota crf ani defaultní hodnota crf nedávají u různých kodeků stejnou kvalitu.

Když jsem teď zkusil enkodovat jedno náhodné video tak na default mi
x264 udělalo velikost 11.3 MB
x265 udělalo velikost 4.8 MB
libsvtav1 udělalo velikost 5.0 MB
Jaká je při porovnání kvalita pátrat nebudu, ani visuálně, ani matematicky (SSIM - umí to vyhodnocovat i ffmpeg)
Ani na default, ani při stejné velikosti.
Stejně se to u různých videí bude lišit.
Prostě je i tak možné, že libsvtav1 dělá kvalitnější videa, i když jsou na default větší, je prostě možné, že je dělá mnohem kvalitnější na default. Taky je možné, že to číslo u x265 je na hraně použitelnosti co se týče kvality.
CRF můžeš ale nastavovat, u libsvtav1 je to rozmězí 0 - 63, čím nižší číslo, tím kvalitnější rip. Pokud chceš nižší velikost tak prostě nastav vyšší crf (přidej crf parametr, např.: " -crf 40 ") a zkoušej a zkoušej (různé videa, bude se to určitě lišit) až dostaneš do merku crf, které se ti bude vyhovovat kvalitou a velikostí, případně budeš vědět s jakou kvalitou jednotlivé crf enkodují.

Případně pokud chceš dělat matematické kvalitativní analýzy videí a porovnávat je, tak můžeš zkusit FFMetrics (z githubu), je to gui pro kvalitativní porovnávání pomocí ffmpeg (např. ssim).