na typu záleží, když chceš ty baterie údajně měřit a ne jen o tom tlachat u piva.

i v domácnosti se setkáš s knoflíkovými bateriemi 3v (malý odběr a dlouhá životnost), univerzální tužkové alkalické baterie aa/aaa, dobíjecí akumulátory stejné velikosti.
akumulátory k vrtačce, k ntb, k domovní ústředně, k ups ... mívají na sobě nebo na zařízení nějakou kontrolu stavu.

obecně: baterie jsou jednorázové, použitelné napětí typicky 1.5-1.6v (knoflíkové 3-3.3v)
akumulátory jsou opakovaně dobíjecí, napětí typicky 1.2v, ne vždycky se to líbí různým dálkovým ovladačům. dlouhodobým skladováním (přes rok) bez dobíjení degenerují, až se nakonec zničí že nejdou dobít.
lithiové akumulátory se uvnitř často skládají z článků 18650, větší a tlustší než aa typ, napětí cca 3.7v

měření naprázdno má smysl, když chceš nahrubo vytřídit: použitelné / mrtvé (třeba jen 0.5v).
nebo starý akumulátor dobíjíš a je pořád v červeném, nic neutáhne: orientační měření napětí ukáže, že napětí stále chybí. je to proto, že jeden ze sériových čklánků je vadný/skoro ve zkratu, ostatní se jen přebíjí takže odcházejí taky.
stejně tak knoflíkové lithiové články stačí měřit naprázdno, nebývají určené pro nějakou zátěž.

jestli tě nejvíc zajímají aa/aaa články, dobíjecí za tebe řeší právě kvalitní nabíječka s vlastním displejem, žádné ledky společné pro 2 pozice.
měřit to chce krátce aspoň při minimální zátěži 10-100 mA, protože s podobným odběrem se budou i provozovat. takže k voltmetru si doděláš hroty přemostěné zatěžovacím odporem 150ohm nebo menším.
kdybys chtěl posuzovat kvalitu článků, budeš mít ten odpor připojovací přes tlačítko, na digitálním voltmetru uvidíš pokles ~ čím menší, tím lepší (tvrdší zdroj).