No curso AZ-900 parte 1, aula 6, tópico 4. - Utilizando a CLI da Azure é importante notar que caso estejamos usando a Azure CLI localmente, temos que passar os argumentos --admin-username e --admin-password ao criar uma VM, caso contrário a CLI usa o seu username do Windows local, e ele pode não estar de acordo com as regras de nomeação de usernames do Azure, e retornar o erro:
user name cannot contain upper case character A-Z, special characters \/"[]:|<>+=;,?*@#()! or start with $ or -
Instalei localmente para não consumir meu crédito de avaliação gratuita com a conta de storage que o Azure pede para criar (e que não faz parte dos serviços gratuitos) para poder armazenar o arquivo de configuração do CLI e me deparei com esse erro.