Usei o código:
media_idade <- enem_1 %>% filter(UF_PROVA != "") %>% filter(!is.na(IDADE)) %>% group_by(UF_PROVA, SEXO) %>% summarize(media = mean(IDADE)) %>% ungroup()
ggplot(data = media_idade, aes(x = reorder(UF_PROVA, - media), y = ifelse(SEXO == "MASCULINO", - media, media), fill = SEXO)) + geom_bar(stat = "identity") + coord_flip()+ scale_y_continuous(labels = abs)
Segue imagem do gráfico: