Vamos lá, isso não é um problema de editor nem nada, é só uma confusão de compreensão.
Tanto o nano quanto o vi são editores de texto disponíveis no terminal do Mac. E qual a diferença entre eles?
Bom, o nano é mais parecido com editores como o TextEdit, Notepad, GEdit, etc. A função é escrever texto e ele cumpre a função com uma interface intuitiva.
Já o vi ou sua alternativa vim é um editor extremamente poderoso com funções de busca e substituição por expressões regulares e milhares de atalhos complexos, o que chega a gerar diversas piadas sobre seu uso na internet. Por quê? Porque diferente do nano, o vim não é intuitivo. Você precisa conhecer o programa pra conseguir utilizá-lo.
No seu caso, você já estava alterando o arquivo /private/etc/hosts, só que não sabia. As linhas com ~ são uma demarcação de que a linha não está utilizada no arquivo. Outra coisa confusa é que o vim não entra por padrão no modo de edição e portanto você não consegue inserir texto diretamente. Para isso existe uma tecla de comando, o i ou o. Para sair do modo de edição é necessário apertar esc, voltando ao modo de comando. Aí então para salvar digite :w e para sair digite :q, ou juntos :wq ou sua alternativa :x. Pois é, percebe como é um software confuso?
Mas existem diversos tutoriais e cheat sheets sobre como utilizar o vim e aprender a fazê-lo certamente é vantajoso para manusear arquivos em servidores remotos.
A piada mais clássica sobre o vi é mais ou menos assim:
Desde que conheci o editor de texto "vi", há uns 6 anos, nunca mais deixei de usar. Principalmente porque ainda não consegui descobrir como sair do programa!