Olá José, tudo bem? Bem, no caso você fala passar a chave privada para os outros usuário correto? Já que a chave pública deve está na máquina que vai ser acessada, bem o mais correto é melhor é que cada usuário crie seu par de chaves SSH e que lhe passe a chave pública para que você possa adicionar no authorized_keys da máquina que vai ser acessada. Isso é melhor, assim cada um tem sua própria chave, e não corre risco de alguém mal intencionado pegue essa chave para fazer mal uso, e outra, se algum dos usuários perder a chave, você pode simplesmente apagar a chave do authorized_keys e então o usuário pode criar outra e você adicionar novamente. Sendo assim bem mais simples o gerenciamento.
Espero ter esclarecido sua dúvida!