EU posso estar perdendo algum ponto da explicaçao, mas se vc pega o número de visitantes e simplesmente exclui os fins de semana ou os dias de semana mas continua calculando com base nos mesmo numeros de visitas, o seu gráfico não condiz com a realidade, você teria que excluir o dia e as visitas daquele dia.
Eu estou fazendo algo de errado ou é isso aí mesmo?