Šifruješ jenom komunikaci mezi tebou a mailovým serverem. To samé platí pro odesílatele, také je šifrované pouze spojení mezí ním a jeho mailovým serverem.
Pokud jde o různé servery, tak si to musí mezi sebou předat. A tady můžeš jenom doufat, že je to šifrované.

V rámci tvé sítě i sítě tvého providera by to ale mělo být zabezpečené.