Olá.
Neste vídeo, o instrutor dá uma dica de adicionar "mdx.experimentalLanguageServer":true
ao settings.json do VS Code para que o autocomplente IntelliSense funcione para arquivos MDX. Isso não funcionou para mim.
Verificando as extensões para o VS Code, vi que criaram uma que faz esse autocomplete e também o syntax highlighting para arquivos MDX. Instalei, reiniciei o VS Code e funcionou. Nem precisei alterar o settings.json do VS Code.
Segue o link para essa extensão: https://marketplace.visualstudio.com/items?itemName=unifiedjs.vscode-mdx