Limit disku - nebudu ti to tady opisovat: http://www.linuxexpres.cz/praxe/jak-ovladnout-kvot y
Limity přidělení paměti, počet procesů atd nastavíš v /etc/security/limits.conf, jsou tam komentáře jak to dělat. Dále doporučuji si přečíst http://www.itworld.com/operating-systems/317369/se tting-limits-ulimit

Swap nemá význam chtít limitovat, je to problém systému. IMHO paměť také nemusí být nějak omezena, spíš bych omezil velikost uzamčené paměti a počet procesů - aby to někdo totál nezacpal.