Ano, pokud pomůže změna na TCP, je problém někde "na cestě" - tj. nejen u tvého providera, ale třeba u protistrany, nebo v peeringu mezi oběma. U wifin a LTE tyhle problémy jsou bohužel nejčastější, souvisí to s technologií přenosu dat.
Další problém může být "pacifikace zlobivých uživatelů", kdy mnoho ISP nedodržuje síťovou neutralitu - prostě ISP může považovat jakýkoli pro BFU nestandardní protokol za "nepriorizovaný."

Určitě je tedy dobrý nápad promluvit se svým ISP, ale taky s ISP u klienta (pokud se problémy projevují u více různých klientských ISP, je problém nejspíše u tvého ISP).

edit: problém s TCP není žádný, je to jen mírně pomalejší - souvisí to s větší režií tohoto protokolu.