Usando FileMode.CreateNew

Tratei a exceção gerada quando o arquivo do mesmo nome é encontrada(System.IO.IOException) e gerei um novo arquivo seguido de um numero aleatorio.

 static void CriarArquivoComWriter()
        {
            try
            {
                var caminhoNovoArquivo = "contasExportadas.csv";

                using (var fluxoDeArquivo = new FileStream(caminhoNovoArquivo, FileMode.CreateNew))
                using (var escritor = new StreamWriter(fluxoDeArquivo))
                {
                    escritor.Write("546,65456,456.2,Pedro");
                }
            }
            catch(System.IO.IOException) 
            {
                var randomNumber = new Random();
                var caminhoNovoArquivo = $"contasExportadas{randomNumber.Next()}.csv";

                using (var fluxoDeArquivo = new FileStream(caminhoNovoArquivo, FileMode.CreateNew))
                using (var escritor = new StreamWriter(fluxoDeArquivo))
                {
                    escritor.Write("546,65456,456.2,Pedro");
                }

            }
        }

ou pode fazer direto:

       static void CriarArquivoComWriter()
        {
                var randomNumber = new Random();
                var caminhoNovoArquivo = $"contasExportadas{randomNumber.Next()}.csv";

                using (var fluxoDeArquivo = new FileStream(caminhoNovoArquivo, FileMode.CreateNew))
                using (var escritor = new StreamWriter(fluxoDeArquivo))
                {
                    escritor.Write("546,65456,456.2,Predro");
                }
        }