resolvi assim (conforme está na documentação: https://github.com/webpack-contrib/extract-text-webpack-plugin)
module.exports = { module: { rules: [ { test: /.css$/, use: ExtractTextPlugin.extract({ fallback: "style-loader", use: "css-loader" }) } ] }, plugins: [ new ExtractTextPlugin("styles.css"), ] }
e sem o "plugins.push( new ExtractTextPlugin("styles.css") ); " no início do webpack.config.js