V první řadě bys měl testovat ty "ztráty" s nějakým dalším PC a bez vlastního routeru (tj. přímo připojený k zařízení ISP). Třeba zjistíš, že problémy dělá tvůj firewall (nedávno jsem řešil něco podobného a byl v tom namočený šit jménem AVG Internet Security) nebo že máš zavirované PC, které odesíláním dat zahlcuje linku. A jak psal Brtník, taky to může dělat prehistorický laciný router.
Svést vše na ISP je jednoduché, ale bez řádné diagnostiky si můžeš stěžovat jen na lampárně.