Důvodů může být víc.
Za pravděpodobný považuju to, že tvůj mail je na seznamu nějaké uniklé databáze nějaké provalené služby, napovědět může např. tento web:
https://haveibeenpwned.com/
A pak záleží jak jsou zrovna aktivní spameři.

Jak to řešit netuším.
Jedna z možností je používat klienta na pop3, v tom případě se tam složka spam nezobrazuje a na serveru se obvykle starší maily ve spamu automaticky mažou.