v první řadě musíš identifikovat problém, ten může být totiž úplně kdekoli, od mobilu až po ISP.
Takže: zkusit otestovat SIP klienta na PC (kabelem, nikoli wifi), přitom vypnout ostatní síťový provoz.
Obecně se dá nastavit priorizace SIP provozu, případně jiný SIP klient. Android je jako SIP klient naprosto nevhodné řešení.