Poderíamos obter a média das idades dos homens sem usar o método .groupby() do pandas, tal como mostra o snippet abaixo:
dataset.loc[dataset['Sexo'] == 'H', 'Idade'].mean()
Neste snippet, estamos filtrando os registros do dataset em que as linhas da coluna Sexo contêm H (identificador para homens) e selecionando a coluna Idade, a qual contém a variável que terá sua média calculada.