Olá Felipe,
O teste RankSums, também conhecido como teste de Soma de Postos de Wilcoxon-Mann-Whitney, é um teste que vai comparar dois grupos para verificar se eles provém de uma mesma distribuição de probabilidade.
Para entender o conceito, vale ilustrar o procedimento do teste:
1) É feita definido os dois grupos que serão comparados
2) Os dados de ambos os grupos são misturados e ordenados do menor para o maior
3) Cada elemento amostral receberá um Rank, de acordo com sua posição na ordenação (o menor recebe o Rank 1, o segundo menor recebe o Rank 2, e assim sucessivamente)
4) Após isso (de forma simplificada) os Ranks dos dados são discriminados de acordo com seu grupo de origem, para que ocorra a comparação dos Ranks entre esses dois grupos.
Caso 1: Para grupos provenientes de distribuições de probabilidades distintas
Neste caso, os Ranks de um grupo serão menores ou maiores que de outro.
Caso 2: Para grupos provenientes da mesma distribuição
Neste caso, os Ranks irão se sobrepor.
Segue uma referência, com um exemplo numérico:
http://www.portalaction.com.br/tecnicas-nao-parametricas/teste-de-wilcoxon-mann-whitney-amostras-independentes