Oi, Rodrigo, tudo tranquilo e contigo?
Pergunta difícil ein? Você quer trabalhar com programação ou arte pra jogos? Vou inferir que é programação mas se não for depois você me conta.
Tudo depende, acho que portfólio é essencial SEMPRE, mesmo você sendo graduado vai ser muito difícil conseguir um emprego sem ter portfólio. Dito isso ainda acho legal ir pra faculdade se você está começando, porque a faculdade é um bom lugar para conhecer pessoas, fazer contatos e aprender.
Se seu foco for programação eu acho que maioria dos cursos de Jogos vai focar bem mais na parte artistica, mas você pode procurar algum com foco em programação se encontrar. Então a maioria das pessoas programadoras que eu conheço fez alguma faculdade relacionada a programação e isso ajudou na área de jogos indiretamente. Porque pra jogos você vai precisar de tudo que normalmente se vê numa faculdade de programação algebra, trigonometria, física, calculo, etc.
Além disso você vai ter um entendimento maior de baixo nível, compiladores, design patters, estrutura de dados, algoritmos, que vão te ajudar bastante. Isso não vai te ajudar só na área de jogos mas em qualquer área relacionada a programação. E aí você vai estudando sobre jogos no meio tempo (e experimentando outras coisas como 3D, eu acho legal uma pessoa que quer programar pra jogos ter o entendimento básico do que é e como exportar / importar) e aprendendo cada vez mais.
Eu particularmente fiz faculdade de jogos mas no começo da minha carreira eu trabalhava com programação dentro do software 3D então na época isso me ajudou muito. A medida que fui migrando mais e mais pra área de programação eu tive que ler todas a literatura e construir a base que uma faculdade tradicional me daria porque começa a ficar cada vez mais importante. Além disso é sempre importante estar aprendendo, sempre tem algo novo todo dia pra aprender.
Acho que não tem resposta certa, independente do caminho o negócio é se esforçar e perseverar pra encontrar aquilo que tú gosta de fazer.