Oi Thiago, tudo bem? Me parece que você confundiu os conceitos na verdade. O server push envia dados para o cliente antes que ele peça. Multiplexação está relacionado ao envio dos dados de forma paralela usando a mesma conexão.
Multiplexação se relaciona ao paralelismo dos streams dentro da conexão até onde sei. Server Push pode não ser usado. Você pode escolher não usar. Multiplexação não, ela acontece independente de você querer.
Lembrando que, um deles está relacionado ao fato de quando os dados serão enviados, o outro, no como serão. Esclareceu mais? Ficou confuso?