Olá, Everton. Tudo bem?

Você pode apagar os arquivos diretamente pelo Github. Para isso basta abrir o arquivo no Github, e no canto superior direito vai ter um ícone de lixeira. Clique nesse ícone, e crie o commit excluindo o arquivo desejado pela própria interface do Github.

Ou você pode excluir os arquivos no repositório local em seu computador. E depois enviar normalmente essas alterações para o Github. Alguns comandos que podem ser úteis são:

• git status: mostra as alterações feitas no repositório local
• git add nome_arquivo: adiciona novos arquivos para serem enviados para o repositório remoto (Github).
• git commit -m "Mensagem com descrição das alterações feitas": cria um novo commit, e informa uma mensagem onde você pode descrever que mudanças foram feitas.
• git push origin main: envia as alterações feitas para o repositório remoto (Github).
• git pull origin main: traz para o seu repositório local as alterações que se encontram no repositório remoto,

Depois de excluir os arquivos, e garantir que o repositório no Github está atualizado (sem esses arquivos), você pode corrigir o .gitignore e subi-lo para o Github. Assim, você pode criar novamente os arquivos no seu computador, como foi mostrado no curso, que eles não vão mais subir para o Github.

Outra alternativa é excluir o repositório e criar um novo, com o .gitignore no diretório correto, caso você ainda esteja no começo do curso. E seguir normalmente com o curso.

Caso você queira se aprofundar mais em Git/Github, deixo como recomendação dois cursos aqui da Alura sobre o assunto. Nesses cursos você vai aprender como funciona um sistema de controle de versão, e quais os principais comandos e recursos dessa ferramenta.

• Curso de Git e GitHub: repositório, commit e versões
• Curso de Git e Github: controle e compartilhe seu código

Espero ter ajudado. Qualquer outra dúvida estou a disposição.

Abraços. Bons estudos!