Fala José, tudo certo?
Sua dúvida é muito pertinente. Esticar o vídeo para o novo formato realmente é uma das maneiras de fazer a adapatação, mas imagino que você já tenha reparado que o vídeo não fica legal dessa forma, se for o caso, saiba que eu concordo com você e a maioria do mercado também.
Uma outra forma é cropar o vídeo. Crop é nome que a gente dá para um recorte dos frames do vídeo. Veja:
o vídeo original é 3:4 mas a gente pode aumentar a escala dele até que toda área do 16:9 seja preenchida e assim a gente perde um pouco do frame na parte inferior e/ou superior. Apesar da informação perdida, o vídeo não se distorce a solução fica mais elegante.
E ainda existe uma terceira forma chamada Letterboxing, onde aumentamos o vídeo sem distorce-lo e sem perder nenhuma informação da imagem, mas dessa forma ele fica com duas tarjas pretas nas bordas verticais ou horizontais.
Se você tem um aspect ratio de entrada diferente da saída, é inevitavel que você precise mexer na resolução do vídeo, ok? Mas de qualquer forma, é assim que as adaptações costumam ser feitas.
A minha recomendação pessoal é usar o crop ou letterboxing e dessa forma, nunca distorcer a imagem do frame.
Espero ter ajudado e bons estudos!