No meu caso, usando .net 6, pela doc https://learn.microsoft.com/en-us/azure/app-service/quickstart-dotnetcore?tabs=net60&pivots=development-environment-vscode, foi necessário primeiro criar o app-service e depois publicar um Web App.
1- Criar o WebApp, tive que escolher o advanced para poder selecionar as configurações específicas para o free tier.
2- Deployar o WebApp através do ctrl + shift + p e selecionando o WebApp criado
