Solucionado
Na aula 2 atividade 3, do curso Youtube: Da concepção do canal ao UpLoad, ele usa pela primeira vez uma mascara retangular (até então ele havia usado apenas a mascare com a ferramenta Caneta G). Mas o vídeo não mostra como ele ativou a ferramenta para criar a mascara retangular.
Oi, Alex, tudo bem?
Repare que quando ele cria a máscara a Ferramenta Retângulo (no canto superior esquerdo) está selecionada, o atalho para as ferramentas de forma é a tecla "Q". Ou seja, você pode criar máscaras selecionando a ferramenta que quer usar (caneta ou de forma) e em qual camada.
Espero ter ajudado!