x86 je 32b, tedy ano, více než 4GB RAM nenaadresuješ. Pro x64 potřebuješ CPU, který podporuje 64bitové instrukční rozšíření.

Samotný upgrade bych provedl tak, že bych uložil konfiguraci do souboru (uložit někam mimo NAS), následně nainstalovat čistě Freenas x64 (ideálně na novou flašku) bootnout a konfig naimportovat.