Solucionado
Eu conseguiria usar o unset de outra forma além de ter que setar o cpf desta forma ? unset ($contasCorrentes['123.456.789-11']);
tentei fazer desta forma só que não deu certo: unset ($contasCorrentes['Joao']);
Referenciando ao invés do número do cpf em si, mas o nome do titular da conta.
A pergunta não ficou muito clara, mas acredito que entendi o que perguntou. Se quer saber se é possível utilizar o unset() sem necessariamente passar o índice do array, então a resposta é sim.
$nome = ['Deividson', 'Venancio'];
unset($nome);
echo $nome; //Será gerado um erro, pois $nome não existe mais.
O unset serve para destruir quase todo tipo de dado em PHP, variáveis de tipos primitivos ou mesmo objetos. Qualquer dúvida olhe a documentação oficial: Clique aqui