Solucionado
A alternativa 1 está incorreta e induz ao erro, pois levando em consideração a estrutura das pastas no exercício, ele deveria estar conforme abaixo para estar correto
from projeto.banco import Banco # Ao invés de "from banco", pois o caminho "banco", puramente, não existe
class Agencia(Banco):
Ignorar o comentário acima, agora compreendi que, como o arquivo agencia.py está importando do banco.py que estão na mesma pasta, o código de importação está correto, também está correta a alternativa.
Eu tinha ficado com essa mesma sensação. Então quando as classes estão na mesma pasta não há a necessidade de colocar o caminho como
From projeto.banco import Banco
?