Usabilidade é uma parte importante da experiência do usuário.
Pensando em um site, por exemplo. Ele pode ser lindo, todo emperequetado, mas não ser fácil de navegar. O usuário não conseguirá utilizá-lo de forma empírica, e pode não conseguir todos os resultados que esperava por existir a barreira da dificuldade de manipulação do site - ou seja, não houve trabalho suficiente (ou de qualidade suficiente) para que a usabilidade do usuário fosse otimizada.
E isso refletirá negativamente na experiência do usuário.