modem: jediný lan výstup. jen převodník dsl/lan. holé modemy už se snad nenabízí. nevím, nabídku o2 nesleduju.
dsl router: obsahuje navíc právě ten router, který přidává novou interní síť, má pro ni více výstupů. může vysílat i wifi.

zpátky k pokrytí wifi:
jestli ty 80-100cm zdi nejsou vtip, pak bys musel mít "rozšiřovač" (repeater) v každé místnosti, to je nesmysl, nehledě k degeneraci signálu a k velkému zpomalení.
doporučovat libovolný router je nesmysl, podle předpisů mají všechny prakticky stejný výkon, který ti bude stačit jen za první zeď.

jestli je to nějaká středověká tvrz (místnost - 90cm zeď - chodba - 90cm zeď - místnost), zapomeň na to, že to vyřeší jeden domácí routřík. půjč si nějaký 2-3 anténový typ, ani nemusí být na net jen mu nastav vysílání wifi. na mobil nějakou aplikaci a procházej si místnosti, jaký tam máš signál.

a začni vážně uvažovat o vedení kabelu kolem zdí a prahů, nebo přes ty powerline.
powerline adaptéry taky mohou mít vlastní wifi anténku, jsou o to dražší.
nebo přes powerline rozvedeš do místností síť a na zdi nebo na stropy dáš něco takového: https://www.i4wifi.cz/cs/211367-access-point-tp-link-cap300