Máš nainstalované přídavky pro hosta? Dodávají do modulů jádra speciální ovladače právě pro VirtualBox. Já to používám opačně, host je Fedora a hostovaný jsou různé Widle. Ve VirtualBox je to nepatrně pomalejší, než rovnou, ale nepodstatně, neovlivní to nijak negativně práci. V nastavení VB nech 1 CPU, paměť by to chtělo aspoň 2G jinak je kernel dost uškrcen a bude hodně stránkovat, čímž se to podstatně zpomalí.
Nezdá se mi, že by počítač byl na Linux slabý, obvykle je méně žravý jak Widle.
Různé verze Linuxových distribucí se liší prakticky drobnostma, jádro (Linux) je vždy stejné (možná se liší jen verzí Kernel). Důležité je, jaké používáš grafické rozhraní. Plasma (KDE) je velmi náročná na rychlost stroje a kvalitě grafické karty. Na slabší stroje instaluji méně náročné MATE při téměř shodné funkčnosti - máš-li rád pouťové efekty, doinstaluj Compiz (nebo Compiz fusion) a Emerald a budeš v MATE mít efektů víc než dost. Plasma má svůj kompozitor vestavěný. Asi nejméně náročné na výkon jsou prostředí LXDE a XFCE. Pro zajímavost, používám léta distribuci Fedora s prostředím Plasma (KDE) a na horších strojích MATE. S tak mizernými stroji, kde by i MATE se loudalo, jsem se nesetkal.