PS už dávno není jen rastrový editor

Smart vrstva sama o sobě není/nemusí být vektorová, nevím co potřebuješ vyrobit, abych ti odpověděl úplně přesně. Aby různé vektorové objekty Photoshop uložil do PDF jako vektor a ne bitmapu, musí být použita vektorová maska, pak se obsah vrstvy uloží jako vektor vždycky.

Ale nevím přesně čeho chceš docílit a zda by to bylo řešitelné s použitím vektorové masky.