Nahrával jsi něco na tu ESP jestli ano, nebyli k PC připojeny i jiné zařízení ?

Když si otevřu serial monitor a stisknu na esp reset, tak dostanu změť klikyháků

Ty klikyháky, znaky, se zobrazují při nastavení nekorektní rychlosti, zkus jí snížit a nastavit na 74880.
Před tou 'warning' zprávou v tom sériovém terminálu nebyla i chyba o portu COM ?
(jestli jsi ten kod nahrával před tools, podívej se, zda-li jsi zvolil správný model modulu. Github esp8266/Arduino na stahnuti)

PS : Může se hodit: mimo ručni reset modulu Serial Monitor for ESP8266
viz : [DTR] a [RTS] nejsou správně spravovány původním sériovým monitorem, který po otevření udržuje ESP8266 v režimu resetování.