Takže asi nezbude, než nějaký ten router, ale jaký by na to mohl stačit a jak jej nastavit, poradí někdo?

Odpověděl jste si vlastně sám. Sice jste v zadání zapomněl zmínit, jaký program od UPC máte (u jednoho byly i tři IP adresy v ceně a tam switch stačil), ale je zjevné, že router vás nemine.
Postačí vám např. tento, případně z těch slušnějších, navíc s wifi, např. tento. Do konektoru WAN zapojíte modem a následně ho restartujete (odpojením od napájení). Počítače pak patří do portů označených LAN. Nic víc nastavovat netřeba. Pouze u modelu s wifi je třeba wifi buď deaktivovat, nebo zabezpečit.