Bom dia!
A criptografia de chaves pública e privada utiliza duas chaves distintas, uma para codificar e outra para decodificar mensagens. Neste método cada pessoa ou entidade mantém duas chaves: uma pública, que pode ser divulgada livremente, e outra privada, que deve ser mantida em segredo pelo seu dono. As mensagens codificadas com a chave pública só podem ser decodificadas com a chave privada correspondente. Isto ocorre, porque a chave pública é gerada à partir da chave privada.
O que você menciona, não é uma preocupação, pois a chave pública só é usada para fazer a criptografia. Com a chave pública, você não consegue fazer a decriptografia.
A unica parte que consegue fazer a decriptografia, é a parte detentora da chave privada.
Bons estudos!