Large 4的上下文窗口达到一百万个token，并采用稀疏注意力机制，每次最多关注2048个最相关位置。