Здравствуйте.
С Windows это может быть связано мало. Просканируйте папки с играми антивирусом и добавьте эти папки в исключения антивируса. Это уменьшит влияние системы на скорость игр в целом (не будет сканирования на вирусы параллельно игре)
А вот с драйверами это может быть связано, особенно если мышь - игровая, "с наворотами". Тут надо экспериментировать с "фирменнымит" настройками мыши (частота опроса, DPI и т.п.). Также в большинстве игр есть свои настройки плавности и чуствительности мыши.
P.S. Если частота опроса мыши в системе и в игре отличается то при "наложении" таких опросов возникают микрозадержки.