Tú bodkočiarku pred ".mouseup" tam dúfam nemáš, lebo s ňou to fungovať nemôže (syntaktická chyba). Ja som to skúšal v Chrome iba s lokálnym node.js serverom a nastavenie audio.currentTime mi tam nefungovalo.

<script src="http://code.jquery.com/jquery-1.8.3.min.js"></script>
<section id="two">
	<div class="inside">
		<div id="nav-two" class="nav">
			<audio id="beep-two">
				<source src="piano/E5.mp3"></source>
				<source src="piano/E5.ogg"></source>
				Váš prohlížeč toto bohužel nepodpořil. :o/ Pořiďte si nový.
			</audio>
			<a>E</a>
		</div>
	</div>
</section>
<script>
$("#nav-two a")
	.each(function(i) {
		if (i != 0)
			$("#beep-two")
				.clone()
				.attr("id", "beep-two" + i)
				.appendTo($(this).parent()); 
		$(this).data("beeper", i);
	})
	.mousedown(function() {
		$("#beep-two" + $(this).data("beeper"))[0].play();
	})
	.mouseup(function() {
		var $audio = $("#beep-two" + $(this).data("beeper"));
		$audio[0].pause();
		$audio[0].currentTime = 0;
		//$audio.replaceWith($audio.clone());
	});
$("#beep-two").attr("id", "beep-two0");
</script>