Fala ai Lucas, tudo bem? Como sempre eu diria depende.
Depende do tipo do projeto, do contexto e da necessidade.
Para casos mais simples, criando uma aplicação com JS puro, como é feito no aula, eu diria que não (caso você não precise dar suporte para navegadores mais antigos).
Caso você precise garantir uma compatibilidade maior entre os navegadores e versões, eu diria que sim, ele é essencial (além de outras técnicas).
Caso seja um projeto mais complexo, no caso de React, Angular, Vue, Svelte, etc... Eu diria que ele é essencial.
Por exemplo, falando de React, trabalhar com ele sem JSX é bem chato (além de outros recursos).
Espero ter ajudado.