Tak, do toho nastavení routeru se už dostanu.

Výborně.

Zapoj přívodní kabel Internetu do WAN. Pak jdi do nastavení routeru IP Config > WAN & LAN. WAN Connection Type nastav na Automatic IP. Scrolni dolů do oddílu WAN DNS Setting. Na otázku Get DNS Server automatically? odpověz No. A do těch dvou kolonek pod tím, dej ty čísla, které máš tady v tom screenu: http://michalskvor.cz/xp.jpg. Pak ve windows nastav ať se adresa DNS získává automaticky (na obou počítačích).