Botão de Inserir, Texto descentralizado

No botão de inserir novo usuário, quando o valor colocado no text-size é 40sp, fica normal, o simbolo de + fica no centro da bolinha, mas quando eu mudo esse valor, mesmo com a medida sp ou dp, o simbolo não só aumenta, como ele vai se movendo para a parte de baixo da bolinha. Por que isso ocorre? e como Posso resolver?

Segue o Código do .xml:

<Button 
    android:layout_width="56dp"
    android:layout_height="56dp"
    android:layout_alignParentBottom="true"
    android:layout_alignParentRight="true"
    android:layout_marginBottom="16dp" 
    android:layout_marginRight="16dp"
    android:text="+"
    android:textColor="#fff"
    android:textSize="56sp"
    android:id="@+id/lista_alunos_adicionar"
    android:background="@drawable/fundo_botao"
/>