Para utilizar no terminal (cmd) do Windows é só seguir os passos:
Acesse a pasta onde está o seu arquivo .pem;
Clique com o botão direito em qualquer lugar dentro da pasta e selecione "Abrir no Terminal" (ou abra o terminal e navegue até a pasta);
Como você já está dentro da pasta onde o arquivo .pem está localizado, utilize o comando com a seguinte estrutura: Exemplo:
ssh -i .\curso-alura_key.pem azureuser@100.100.200.10
Ao executar você estará conectado à VM.