Máš to takmer správne, len máš vymenené znamienka a nesprávne oblasti. Vzorec má vyzerať takto:

=COUNTIFS($E$3:$E$19;"<="&$B3;$F$3:$F$19;">="&$B3)

Edit: A to s tým zvyšovaním času stále platí, takéto chyby zo zaokrúhľovania môžu byť dosť nepríjemné. Do bunky B4 daj nasledovný vzorec a rozkopíruj nižšie:

=$B$3+$A$1*(ROW($B4)-ROW($B$3))

Edit2: Aha, ako sa pozerám, tak tie znamienka som mal vymenené v tej pôvodnej otázke, ale keďže tam boli v oboch stĺpcoch takmer všade rovnaké časy, tak som si to nevšímol.