Však Vám to ukázal.
Echo se dává do uvozovek ", jenže " se taky ukončuje, tím pádem musíte echu říct, že " v html syntaxu má brát jako součást echnutého textu. Tím pádem buď změníte echo uvozoky na apostrof (" na ')

echo '<div class="back"><a href="registration.php">registrace</a></div>'; 

echo "<div class=\"back\"><a href=\"registration.php\">registrace</a></div>";