A spadne ti to teda hneď alebo až po nejakom čase? Len kým sa ten súbor začne sťahovať, tak to trvá cca minútu. To, že samotné sťahovanie trvá len 4 sekundy, to už nezachráni.

Dúfam, že tie ostatné XML-ká, ktoré ti idú načítať, ťaháš tiež z webu a nie z lokálneho disku.

Ak ti to padne až po nejakom čase, tak si zmeň timeout (viď komentáre k file_get_contents), alebo použi cUrl, kde si tiež môžeš nastaviť timeouty.