Oi, Filipe! Como vai?
Isso geralmente acontece quando a extensão do WSL, no Visual Studio Code, não está funcionando como esperado ou não está instalada. Nesse sentido, caso ainda não tenha instalado a extensão, basta seguir os passos abaixo:
No menu lateral do VS Code, clique em "Extensions";
No campo de busca, pesquisa por "WSL" e acesse a primeira opção (ofertada pela Microsoft);
Clique em "Install" para instalar a extensão;
Feche e abra novamente o VS Code;
Agora, no canto inferior esquerdo da tela, clique em "Open a Remote Window":
No meu caso, a cor do botão é roxa (devido ao tema do meu programa), no entanto, para você a cor possivelmente será azul!
Por fim, será aberto uma lista de opções para você escolher. Sugiro clicar sobre "Connect to SQL using Distro..." e escolher a distribuição Linux que você está utilizando para o curso!
Geralmente, a conexão é atualizada automaticamente. Caso isso não aconteça, basta fechar e abrir mais uma vez o VS Code!
Espero que dê tudo certo, Filipe. Qualquer dúvida, fico à disposição.
Um abraço!