Fala aí Paulo, beleza? Cara antes de tentar melhorar, acho que seria necessário entender onde está o gargalo, para aí sim de fato começar com medidas de melhoras.

Mas algumas melhorias que eu aconselharia você verificar é:

1. Minificar seus arquivos CSS, JS e se possível HTML.
2. Verificar o tamanho das imagens, existem sites que fazem todo trabalho para melhorar essa questão, da uma olhada no kraken.
3. Tenta ativar o gzip no seu server.

Espero ter ajudado

Legal mas como minificar se o site está hospedado em um servidor?Faço direto via site. Existe alguma ferramenta,etc?

Verifica se o Wordpress tem algum plugin para isso, tanto minificações de arquivos/códigos, aplicar performance em imagens e outros também.

Deve ter bastante plugin para isso.