长上下文模型需要将大量token的键值缓存保留在显存中，上下文越长，显存占用越大，因此对硬件要求更高。