Programa que cria uma agenda utilizando um dicionário de dicionários: por que é salvo apenas o último contato inserido?

agenda = {}
contatos = {}
def InsertContato(Agenda):
            while True:
                apelido = input("Digite o apelido: ")
                nome_completo = input("Digite o nome completo: ")
                fixo = input(" Digite o telefone fixo: ")
                celular = input("Digite o telefone celular: ")
                contatos= {"apelido:": apelido,
                                "nome": nome_completo,
                               "telefone fixo": fixo,
                               "Telefone celular": celular             
                        }  
                agenda = {apelido: contatos}
                opcao = input("Deseja Continuar [S/N]:").upper()[0]
                if opcao == "N":
                    return agenda

Exemplo de saída:

agenda = {
    "Flávia" : {
        "nome": "Flávia",
        "telefone": "99234-1234",
        "email": "flavia@email.com"
        },

    }  

Gostaria de entender o porquê de o programa acima salvar na agenda, que é um dicionário de dicionário, apenas os últimos dados inseridos, ou seja, eu consigo inserir realmente apenas 1 contato, que é o último inserido.