V routeru zapneš DHCP IP Config -> DHCP server -> Enable DHCP nastav na Yes.
V počítačích si zobraz vlastnosti síťového připojení, pak vlastnosti protokolu TCP/IP a tam to pridělování už najdeš. Třeba ti někdo udělá screeny, já jsem dneska líný... Napiš, jaký máš na těch počítačích OS.