Některé weby používají cache, některé prohlížeče taky, takže když se změní obsah souboru, tak se to může projevit až po nějaké době.
Další otázka je, jak je ta aplikace psaná a co všechno se stane tou změnou CMS. (Napřiklad otevřený soubor se nezmění, dokud ho znovu neotevřeš, i když jsi ho mezitím smazal, nebo přejmenoval.)

Změna symlinku by se měla projevit okamžitě ve chvíli, kdy ten symlink uložíš, což ale znamená jen to, že každý následně otevřený (tedy i například spuštěný) soubor z toho symlinku bude ta nová verze. Ale staré soubory ti to samo nezavře.

Je otázkou, zda by postup "změna symlinku", "restart aplikace" nevedl k výrazně kratšímu výpadku (spousta webů se dokáže restartovat skoro okamžitě, otázkou je, co ta aplikace dělá a kde si udržuje jaká data (zvláště ta o platných přihlášeních))

Rozhodně to reportuj jako problém oficiálními kanály (bugreport, ticket, nebo co ve firmě máte)