Oii, Rafael! Tudo bem?
Isso pode ocorrer devido a algumas configurações que podem não terem sido feitas.
Como sugestão, primeiro, verifique as permissões no Google Cloud IAM. Para isso, acesse o Google Cloud Console e navegue até a seção "IAM & Admin" > "IAM". Lá, encontre a conta de serviço que está sendo utilizada e veja se ela possui a função de "Editor" ou "Proprietário".
Em seguida, verifique as permissões no Google Drive API. No Google Cloud Console, vá para "APIs & Services" > "Library" e certifique-se de que a Google Drive API está ativada. Depois, acesse "APIs & Services" > "Credentials" para garantir que a conta de serviço esteja configurada corretamente e com todas as permissões necessárias.
O próximo passo envolve o compartilhamento da pasta no Google Drive. Navegue até a pasta que você deseja manipular e clique com o botão direito sobre ela, selecionando "Compartilhar". Verifique se o e-mail da conta de serviço está listado com a permissão de "Editor".
E garanta que o código Python está utilizando a conta de serviço corretamente para deletar os arquivos.
Reuni alguns links que podem te ajudar nessa investigação:
Espero que as sugestões de te ajude. Desejo bons estudos, Rafael!