Asi ti monitor ve vyšším rozlišení nezvládá určité frekvence. Máš LCD, nebo CRT? Podstatná informace, která chybí, protože tu chybovou hlášku vypisuje monitor, nikoliv PC.
Na pevné zafixování obnovovací frekvence i ve hrách použij prográmek ReForce - v něm si natvrdo nastavíš frekvence pro každé rozlišení, které používáš a které monitor umí (pokud máš LCD, tak nastavíš všude 60Hz, pro případ, že by hra chtěla běžet na 85Hz, což se LCD nemusí líbit).