Formát png nie je ikona... Ako to spracúva Linux je mi jedno, vitaj vo Windowse...

Windows používa pre svoje ikony súbory s príponou *.ico.
Je to akýsi kontajner, ktorý môže obsahovať jeden alebo viac obrázkov v rôznych rozlíšeniach a rôznej farebnej/bitovej hĺbke.
Obrázky v ňom môžu byť vo formáte BMP alebo PNG - výhoda použitia formátu png je zjavná...

Ak chceš používať svoje pekné obrázky vo formáte *.png musíš ich prekonvertovať na súbor *.ico. Buď nejakým online nástrojom alebo cez nejaký program,
ja by som použil nástroj: https://www.xnview.com/en/xnconvert/, vie dávkovo spracovať veľké množstvo súborov najrozšírenejších formátov, má tiež tiež utilitu pre cmd riadok alebo
rozšírenie kontextovej ponuky pre prieskumníka...