Netestoval som to, ale toto by mohlo fungovať (aj pri vypnutom JavaScripte a blokovaných popup oknách):
<form action="soubor.php" target="foo" onsubmit="if (!validate(this)) return false; window.open('', this.target, 'width=450,height=300,status=yes,resizable=yes,scrollbars=yes')">
Prípadne by si to mohol dať ešte do samostatnej funkcie (napr. submit), do ktorej by si ešte na koniec pripísal return true a volal by si ju onsubmit="return submit(this)".