Olá Lucas tudo bom?
Mas de todo caso, a sua observação está correta, usando o seletor " + " somente o primeiro elemento após o selecionado é capturado pelo CSS, e caso fosse para selecionar todos os elementos seguintes do primeiro o seletor correto seria o " ~ "
O ponto do exercício é que: como não é especificado qual p deve ser selecionado (o primeiro, segundo ou o terceiro usando first-child por exemplo) ele acaba selecionando todos, e todos os p's que tiverem um anterior são capturados pelo CSS e tem o estilo atribuído.
Segue o link de um CodePen, para você fazer alguns testes.
https://codepen.io/soutomario/pen/RgwWgB
Nesse exemplo eu apliquei uma class no primeiro p.
Espero ter ajudado :)