Создаем новый ключ rsa с помощью которого будем ходить на удаленный сервер

ssh-keygen -t rsa -f ~/.ssh/newKey -C "myuser@email.domain"

В ~/.ssh/ создаем файл config с таким содержимым

Host my.remote.server
  User myuser
  Hostname my.remote.server
  PreferredAuthentications publickey
  IdentityFile ~/.ssh/newKey

На удаленный сервер закидываем наш публичный ключ newKey.pub и теперь можно конектится по ssh к этому серверу с другим ключем )
Если сервер не один, то просто дублируем этот блок в файле config подставляя новые значения