Andre, também acabei tendo problemas embolando varias pastas e arquivos avulsos ao projeto.
Eu resolvi isso clonando o meu projeto em uma outra pasta. Para evitar que o git rastreie pastas ou arquivos indesejados, basta criar um arquivo .gitignore na mesma pasta em que você tem o seu git e adicionar linhas contendo as pastas e arquivos que ele não deve rastrear, exemplo:
Oi!
Se no seu VSCode não tiver uma pasta de projeto aberta, ao abrir o terminal ele vai apontar para a pasta do seu usuário no computador. Para resolver, basta abrir a pasta do projeto no VSCode (menu superior: File -> Open Folder) e depois de aberto o projeto, abra uma nova janela do terminal (menu superior Terminal -> New terminal)
Bons estudos!