Oii Ítalo, tudo bom?
A hierarquia é basicamente uma forma de organizar os dados nas dimensões, no caso, de forma hierárquica. Geralmente, existe apenas uma hierarquia na dimensão, mas não é errado ter duas hierarquias na mesma dimensão.
No caso da Dimensão Produto, nós temos o código e nome do produto, código e nome da categoria, código e nome da marca, tamanho e sabor. No banco de dados transacional, cada um desses seria uma tabela. O que acontece é que estamos realizando a desnormalização desses dados.
As hierarquias servem para ajudar a analisar os dados, em forma de grão (granularidade). O grão é o menor nível da hierarquia, onde temos o dado mais detalhado, é a informação base. Um exemplo: Na dimensão tempo, nós temos hierarquia com ano, mês e dia. O dia é o menor nível, isso é o grão.
Bom, basicamente é isso. Não sei se consegui te ajudar a entender ou confundi mais a sua cabeça, mas espero ter ajudado de alguma forma.
Qualquer dúvida pode falar, tá bom? :)