Pense na preparação de um mochilão pela Europa. Se eu estou interessado em contar para meus amigos por quais países eu vou passar, a repetição não importa, então eu escolheria um List.
Agora, se eu quero planejar as passagens de um local a outro dessa viagem, sem a repetição de locais e não importando a ordem. Então, preciso de um Set.