Boa tarde Lucas, tudo bem.
Vou tentar trazer algumas soluções e explicações ok ^^
Existem dois workflows no photoshop, um é destrutivo e o outro é não destrutivo, ou seja, em um você perde ou altera as informações alteradas, a outra você tem possibilidade de voltar as alterações feitas, tipo a propriedade máscara.
Por que expliquei isto? Por que basicamente você trabalhou de forma destrutiva ( isto não é errado, é apenas uma forma de trabalhar, cada um usa a que prefere ^^), e por isso não existe uma forma simples e não morosa de separar as linhas das cores 8(.
Veja se seguindo esses passos você consegue fazer ok:
1º - caso a pintura ainda esteja com as cores basicas, apenas as cores sólidas, selecione com a varinha mágica essas cores.
2º - depois de selecionar essas cores, vá na opção (SELECT > MODIFY > EXPAND) e coloca 1px, isso é para para conseguir pegar os pequenos pixels transparentes em volta da pintura seja selecionada.
3º - Com a seleção feita você pode pressionar CTRL + J no teclado, assim você vai criar uma nova camada só com as cores pintadas.
4º - Faça a seleção novamente na camada das linhas, e pinte de branco para voltar ao estado inicial.
A partir dai você deve conseguir continuar o curso sem a necessidade de refazer alguns passos.
OBS: Existem outras formas, por exemplo selecionando a linha em vez das cores, mas da maneira como falei acima faz com que você fique alinhado com as etapas para continuar normalmente o curso ok.
Lucas eu espero que isto consiga lhe ajudar, sempre tem como ajustar as coisas no photoshop, só é importante definir se as vezes o tempo para ajustar o que deseja vale a pena. As vezes iniciar o projeto novamente acaba sendo mais rápido, digo isso por experiência própia hehe xD.
Eu quando estudei composição digital fazia muita coisa que queria voltar depois e vi que não tinha separado as coisas, no final me lascava para arrumar =D.
Depois me de um feedback aqui para eu saber. Um abraço