Si alguien más tiene problemas de rendimiento como tenía yo, lo que hay que hacer es activar el "Future Frame Rendering".
Como comentaba arriba algo tenía que estar pasando para que el juego me fuera mal, y era esto.
De no llegar ni a 60fps, con esto activado los tengo clavados en 75, así que el juego me está dando bastantes más ya que no tengo ninguna caída, y con todo en Ultra.