Mesmo executando o try e finally o código para na hora da divisão de 1/0 e anuncia o erro.
try:
arquivo_contatos = open("dados\contatos.csv", encoding="Latin_1")
for linha in arquivo_contatos:
print(linha, end="")
numero = 1/0
finally:
arquivo_contatos.close()