Jako první věc bys měl použít nějaký OS a setup, který vyloučí další komunikaci jiných aplikací. Takže ideálně třeba liveCD ubuntu a odpojit zbytek domácí sítě.
V druhém kroku bys měl opingat postupně všechny hopy, přes které jde tvůj net, tj. domácí router, wifi jednotku u tebe doma, wifi AP na druhé straně, atd. Tam, kde se objeví latence, tam bude problém.

Jinak obecně vzato, třeba je na tvé AP připojeno více zákazníků, nebo něnjaký černý pasažér. Nebo to je jen zarušeno až to hezké není.