Oii, Renan! Tudo bem?
Sinto muito, você checou se a seleção ou a máscara estavam ativadas, as linhas pontilhas ao redor da área?
Como sugestão, revise outros pontos que possam estar interferindo, como estar no modo de edição da máscara e não da camada. Ou quando a máscara está ativa e a seleção está correta, pressionar "delete" deve esconder a área selecionada na máscara. Se isso não funcionar, tente usar a ferramenta Pincel (B) com a cor preta para pintar sobre a área selecionada na máscara. Isso deve ter o mesmo efeito de esconder a área. E verifique se o atalho Delete está configurado corretamente nas preferências do Photoshop.
E, por último, tentar reproduzir novamente todos os passos com bastante cautela para não pular nenhuma etapa.
Espero ter ajudado, continue se dedicando aos estudos.
Até mais, Renan!