Pelo o que entendi dos vídeos do curso acho que uma expressão que se encaixa bem aqui é que uma coisa é uma coisa e outra coisa é outra coisa.
O HTTP é um protocolo de comunicação web e o HTTP/2 é outro protocolo, e embora o segundo seja derivado do primeiro, o protocolo HTTP/2 possui suas próprias regras de funcinamento. Assim como a língua portuguesa é derivada do latim, mas ambas são independentes uma da outra. Desse modo, mesmo que o protocolo HTTP seja stateless por padrão, o protocolo HTTP/2 não o é.
Falando agora a respeito dos cookies, a característica stateless do protocolo HTTP diz respeito ao cabeçalho da request que é enviada para o servidor e não aos dados que são enviados para o servidor. Assim, mesmo o protocolo HTTP/2 sendo stateful, ele também faz uso dos cookies, já que as informações contidas nos cookies não estão inseridas no cabeçalho da request.
Ou seja, ao usarmos o HTTP não temos o reaproveitamento do cabelho da request, enquanto que no HTTP/2 nós temos. Mas em ambos os casos precisamos enviar os identificadores contidos nos cookies.
