Y esto es independientemente del editor de imágenes al que estemos acostumbrados a usar, Photoshop, Photopaint o uno de los muchos que existen.
En primer lugar un icono de estas características requiere de unos ciertos requisitos, como por ejemplo que la imagen debe de ser de 16x16 pixel, por lo cual debemos usar el editor para ajustarla o redimensionarla. Como un icono de esta clase queda muy pequeñito, no podemos usar una imagen muy compleja porque no se vería bien.
Una vez echo esto solo debemos guardarla con formato BMP.
Usando el explorador, accedemos al archivo y le cambiamos la extensión ".BMP" por ".ico". Pulsamos "enter" y ya esta, fácil y sin tener que recurrir a ningún programa de conversión de archivos.
Para deshacer esto hay que acceder a "Organizar/ Opciones de carpeta y búsqueda" que está arriba a la izquierda. Selecciona la pestaña "ver" y desmarca "Ocultar extensiones de archivo...".
Haz click en la imagen para agrandar.
Desde ese momento podrás acceder a ellas y cambiarlas.
Espero que este tutorial te sea lo mismo de útil que me fue a mi en su momento ya que estaba cansado de buscar programas de conversión o o específicos para iconos que al final no aportaban nada.
Cualquier duda, no tenéis mas que preguntar.