Oi Giovani,
Basta você fazer ng eject
dentro da pasta do seu projeto que o webpack.config.js aparecerá, daí você pode personalizá-lo do jeito que quiser. Mas atenção: este comando esta temporariamente desabilitado no Angular 6 (Angular CLI mais atual), então você precisa consultar novas versões do Angular para saber se a equipe já arrumou o comando. Aliás, isso esta me causando muito problema no upgrade de um sistema gigantesco para Angular 6. Há várias dependências de loaders específicos.
Para saber mais você pode consultar
https://github.com/angular/angular-cli/issues/10945
@appsolutegeek we're adding back eject soon but bear in mind there will not be a way to add a loader to the pipeline Angular CLI uses (see more about that in #1656). Eject will give you a webpack config that you can use and is separate from the Angular CLI pipeline.
A equipe esta trabalhando em um sistema de plugin para que você não tenha que expor o webpack.config.js, pois não há ainda uma maneira de especificar um loader no build do Angular CLI.
Sucesso e bom estudo.