Boa noite. Esse local mostram as alterações que não subiram para o repositório (Github, gitlab...). Algumas alterações são dispensadas quando você configura o gitignore corretamente. No VS code, tem várias configurações do git (coloquei no campo de pesquisa e apareceram 72). Talvez você encontre em algum fórum, qual a melhor maneira de configurar. Como eu sempre faço o commit das coisas que estou desenvolvendo e faço o push, meu VS code está sempre com poucas alterações.
Nas configurações vi que tem umas caixinhas. Acho que dá para desativar o git por ali. Li isso num fórum também, que tem que desmarcar a caixinha que diz "Se o git está habilitado", e depois reiniciar o VS Code.