Mno, když máš vyšší nároky, proč používáš XFCE a ne něco pořádného, KDE nebo Gnome? Jestli plánuješ přechod, doporučuji Fedoru, na té jedu také a furt a i v práci jsem to nařídil a ani to někteří nezpozorovali, že už nemají Widle. Dřív jsem měl Mandrivu, ale další vývoj zcela zdechl (ruská Rosa je nepoužitelná). Komunitní Mageia vypadá nadějně, zatím jsem jí nezkoušel. K/Ubuntu je ne zrovna dobře konfigurovatelná distribuce, avšak vhodná pro začátečníky a někoho, kdo nechce do ničeho moc vrtat.
Jestli chceš nejnovější vlastnosti Linuxu, musíš si ho postavit sám (hlavně zkompilovat jádro na míru). Distribuce jsou všechny určitou dobu pozadu.
IMHO 64 bitové verze ještě nejsou to pravé ořechové, nejsou všechny aplikace v 64bitové verzi a 31 můžou dělat problémy.

Rozhodně swap nevypínej.