É como você está dizendo mesmo, nessa sua tabela os valores estão como texto, até o excel identificou que esse é um valor numérico mas que está configurado como texto.
É por isso que ele adiciona a seta verde que você falou, o excel reconheceu que tem um número salvo como texto e está avisando.
O jeito mais fácil de resolver é deixar como número no próprio excel, seleciona todos os valores que deve aparecer uma exclamação, clicando lá aparece a opção Converter em número
:
Se for para fazer pelo código tem que fazer como você disse na primeira mensagem mesmo, substituir as vírgulas por pontos, e então converter. Exemplo:
data['2018-08'] = data['2018-08'].str.replace(',', '.').astype('float64')