Jestli jsem to celé pochopil, tak nahráváš dění na ploše pomocí programu SMRecorder a to video pak můžeš přehrát jedině ve VLC, nikde jinde. Je to tak?

Důležité jsou parametry toho videa, zejména použitý videokodek (ne, AVI není kodek). Pro identifikaci kodeku použij třeba MediaInfo.
V tom SMRecorderu se použitý kodek nedá nastavit?