zadávám jen ip adresu bez portu. příchozí a odchozí komunikace používá tuším porty 5800 a 5900.

patrně ti připojení blokuje firewall - nechal bych v něm povolit výjimku pro icmp (kvůli pingu), a ten vnc.
pro windows firewal si buď v aplikacích naklikáš cestu k winvnc4.exe, nebo naimportuješ .reg soubor:

REGEDIT4

[HKEY_LOCAL_MACHINE\SOFTWARE\Policies\Microsoft\WindowsFirewall\StandardProfile\AuthorizedApplications\List]
"%programfiles%\\RealVNC\\VNC4\\winvnc4.exe:*:Enabled:VNC Server"="%programfiles%\\RealVNC\\VNC4\\winvnc4.exe:*:Enabled:VNC Server"