Paradoxně instalace je to jednodušší. Pak přijde ta složitější část - konfigurace.

Osobně ti doporučím:

1. Debian jako OS
2. Postfix jako SMTP(s) server
3. Dovecot jako IMAP(s)/POP3(s) server

Vše je zdarma a celkem dobře dokumentováno. Po instalaci budeš muset správně nastavit relaying (to je důležité kvůli bezpečnosti a aby ses nedostal na spamlist) a dále si budeš muset správně nastavit DNS server pro svou doménu (minimálně jeden A a MX záznam).

Pro secure verze SMTP, IMAPu a POP3 (což ti vřele doporučuju) budeš potřebovat ještě SSL a vygenerovat self-signed klíče.