Myslím, že používaním USB v hostiteľskom systéme to nebude, u mňa sa to správa tak, že po štarte virtualboxu odpojí všetky USB zariadenia a pridelí ich virtuálnemu systému.
Skontroluj či máš nainštalované "Přídavky pro hosta" ( týmto zdravím hosta ) viď obrázok
A na obrázku 2 je moje nastavenie USB