Pro tebe nejjednodussi bude koupit obyčejný switch. Do něj v pokoji povede přívod a z něj do jednodlivých počítačů. Switch je aktivní zařízení - potřebuje napájení.
Pokud již máš router ve sklepě, zřejmě není třeba na jednotlivých počítačích nic nastavovat - připojíš je a pracuješ.