Esse é um cenário bastante conhecido na comunidade de quem monta PC "gamer" aproveitando processadores Xeon de servidor (muito comum em plataformas X99, por exemplo) — e sim, a CPU costuma ser uma parte real do problema, mas não do jeito que parece à primeira vista (não é falta de núcleos, é outra limitação):

Desempenho por núcleo mais baixo: processadores Xeon dessa geração foram projetados pra cargas de trabalho de servidor (muitos núcleos rodando tarefas paralelas), não pra jogos. Jogos modernos, mesmo usando vários núcleos, ainda dependem muito do desempenho de um ou dois núcleos principais (o chamado desempenho "single-thread") — e é exatamente aí que Xeons dessa era costumam ficar atrás de processadores gamer da mesma época, mesmo tendo mais núcleos no total.
RAM rodando abaixo da velocidade ideal: placas-mãe X99 (a plataforma mais comum pra esse tipo de Xeon) costumam ter suporte limitado ou nenhum a XMP, fazendo a memória rodar na velocidade padrão JEDEC — bem mais lenta do que o "anunciado" no pente, o que piora ainda mais a consistência de frame time.
Overhead de driver da GPU em DirectX 11: jogos em DX11 (ainda muito comuns) dependem bastante de desempenho de núcleo único pra processar as chamadas de desenho da GPU — uma combinação ruim justamente com a fraqueza específica desse tipo de Xeon.
Configuração de PCIe da placa-mãe: algumas placas X99 dividem as lanes PCIe de forma que a GPU não roda no x16 Gen3 completo, dependendo de quais slots estão sendo usados.

Como confirmar:

Monitorar o clock de cada núcleo durante o jogo com o HWiNFO — se os núcleos "líderes" estiverem com boost baixo e instável, a suspeita se confirma.
Verificar se a RAM está rodando na velocidade rated (BIOS ou CPU-Z) — X99 sem XMP ativo é um erro de configuração comum.
Conferir no manual da placa-mãe se o slot usado pela GPU está de fato em x16.

Se tudo isso já estiver otimizado e o stuttering persistir, o diagnóstico realista é que essa plataforma específica (Xeon + X99) tem uma limitação inerente de consistência de frame time em jogos modernos — nesse caso, a solução definitiva costuma ser migrar pra uma CPU de geração mais recente voltada a desktop/gaming, já que ajustes de configuração só reduzem parcialmente o problema.

📞 Precisa de suporte de TI que entende de contabilidade? A Simples Solução TI é especializada em atender escritórios de contabilidade — sistemas, backup, rede e segurança sob um único contrato. Fale agora →

Tenho micro stuttering constante em jogos com um Xeon E5 e placa de vídeo moderna — a CPU é o problema?