Mesmo executando o try e finally o código para na hora da divisão de 1/0 e anuncia o erro.
try:
    arquivo_contatos = open("dados\contatos.csv", encoding="Latin_1")
    for linha in arquivo_contatos:
        print(linha, end="")
        numero = 1/0
finally:
    arquivo_contatos.close() 
            