Oi Guilherme!
Na verdade esse tópico é um pouco complexo e existe controvérsias na área.
Olha o que eu encontrei explicando no stackoverflow.
Enquanto os motores de busca podem ignorar comentários e em linha css / js a largura de banda, logística de processamento e armazenamento pode ser a motivação suficiente para umedecer o desempenho de SEO em algum grau em pesadas páginas css in-line.
http://stackoverflow.com/questions/2240481/does-inline-css-and-javascript-really-affect-site-seo
Ou seja, MUITO CSS inline deixa a página pesada e isso pode sim afetar o SEO.
Olha, para afetar o SEO seja necessário realmente MUITO estilo inline. Hoje em dia o pessoal usa CSS inline para o above the fold
e deixa o resto do estilo separado mesmo sem problemas.
Encontrei também um artigo mas ele quase não fala do SEO, todavia ele fala que deixa o arquivo HTML pesado, isso pode ser que afete o SEO como eu citei acima.
Ufa... Então vamos lá, vamos falar do SVG agora.
Bom o SVG acredito que entraria na mesma coisa que eu falei, MAIS código na pagina deixando o arquivo HTML mais pesado e podendo influenciar no SEO. Acredito que se vc tiver uma quantidade absurda de SVGs isso poderia ser um problema nesse caso ( acho que seria um problema em todos os casos na verdade, se fossem arquivos externos iam ter diversas requisições também ).
Enfim, segue o mesmo raciocínio. Espero que não tenha ficado tudo muito confuso, espero que tenha ajudado vc!
Abração!