Myslím, že používaním USB v hostiteľskom systéme to nebude, u mňa sa to správa tak, že po štarte virtualboxu odpojí všetky USB zariadenia a pridelí ich virtuálnemu systému.

Skontroluj či máš nainštalované "Přídavky pro hosta" ( týmto zdravím hosta ) viď obrázok

A na obrázku 2 je moje nastavenie USB