Oii Vitor, tudo bem?
O Django Admin foi projetado para ser uma interface de administração para desenvolvedores e usuários avançados, e não necessariamente para o público em geral. Ele é construído sobre o sistema de autenticação do Django, que é bastante robusto e seguro.
Mas, como qualquer ferramenta, o Django Admin não é imune a ataques se não for configurado corretamente. Vou dar algumas dicas pra manter sua instância do Django Admin segura:
Sempre mantenha seu Django atualizado. As atualizações do Django frequentemente incluem correções de segurança.
Restrinja o acesso ao Django Admin apenas a usuários que realmente precisam dele. O Django permite que você controle o acesso de usuários a diferentes partes do Admin.
Configure o Django para usar HTTPS. Isso garante que todas as comunicações entre o cliente e o servidor sejam criptografadas.
Use senhas fortes. Isso é especialmente importante para usuários com acesso ao Django Admin.
Quanto a motivos pra não usar, isso realmente depende das necessidades do seu projeto. O Django Admin é uma ferramenta poderosa, mas pode ser exagerado para projetos menores ou mais simples. E, mesmo que ele seja altamente personalizável, pode não ser capaz de atender a todas as suas necessidades específicas de administração.
Um abraço e bons estudos.