Našel jsem zmetka, co dělá problém. Proces DWM (správce oken plochy) má zřejmě problém s uvolňováním paměti a fragmentací paměti. Žral přes 1,2GB RAM.
Po odstřelení procesu a nechání chvilky na vzpamatování (proces se zase sám spustí) se uvolnilo přes 2,5GB RAM.