U většiny programů je to jedno. U některých se může projevit lehce vyšší výkon, ale rozhodně to není pravidlo.
Pokud chceš používat Javu v prohlížeči, tak musí být ve stejné verzi jako ten prohlížeč - tedy 32bitový prohlížeč potřebuje 32bitovou Javu a 64bitový zase 64bitovou.