Removendo propriedade com unset

No curso Avançando com PHP no módulo 5, tem uma aula que é removendo um item.

Temos a Array:

$contasCorrentes = [
 '123.456.789-10' => [
  'titular' => 'Maria',
  'saldo' => 10000
 ],
 '123.456.689-11' => [
  'titular' => 'Alberto',
  'saldo' => 300
 ],
 '123.256.789-12' => [
  'titular' => 'Vinicius',
  'saldo' => 100
 ]
];

E se quisermos excluir a do Alberto por exemplo, executamos:

unset($contasCorrentes['123.456.689-11']);

Logo depois tem a mensagem de exibição que é um foreach

foreach ($contasCorrentes as $cpf => $conta) {
 ['titular' => $titular, 'saldo' => $saldo] = $conta;
 exibeMensagem("$cpf $titular $saldo");
}

E dá tudo certo. Mas se eu quiser remover apenas o saldo? Como faz?

Eu testei:

unset($contasCorrentes['123.456.689-11']['saldo']);

Mas deu erro. O que fazer nessa situação?