单 VM 跑 1500 万 Web 服务器:smoltcp、DPDK、AF_XDP 的极限实验

单台 VM 上通过 smoltcp、DPDK 与 AF_XDP 组合实现 1500 万 Web 服务器监听,展示用户态网络栈的极限与边界。
该文介绍了在单台虚拟机上运行 1500 万个 Web 服务器的实验,核心是用 Rust 编写的用户态 TCP/IP 协议栈 smoltcp 接管协议处理,并借助 DPDK 或 AF_XDP 将数据包绕过内核直接送入用户态,从而消除中断、系统调用和上下文切换开销。1500 万指的是同时监听并响应的 socket 数量,每个连接内存占用极低,更接近压力测试。文章对比了 DPDK 与 AF_XDP 的定位差异,并指出虚拟化环境带来的额外挑战。社区讨论聚焦于连接建立速率、内存可控性、TCP 高级特性覆盖不足以及用户态调度公平性等问题,认为该实验验证了架构方向,但适用场景仍偏向特定工作负载。
在单台虚拟机上运行 1500 万个 Web 服务器,听起来像天方夜谭,但 kapteko.com 上的一篇技术文章给出了实现路径:组合 smoltcp、DPDK 和 AF_XDP,绕过传统内核网络栈的瓶颈。该文在 Hacker News 上获得 300 分、32 条评论,引发网络与系统编程社区的讨论。

核心思路:把内核从数据路径上移开
传统 Linux 网络栈在处理海量连接时,每个数据包都要经过中断、协议栈处理、系统调用和上下文切换,开销在高并发下被急剧放大。这个实验的关键在于用用户态协议栈 smoltcp 接管 TCP/IP 处理,用 DPDK 或 AF_XDP 实现数据面旁路,让数据包直接进入用户态程序,从而在单台 VM 上支撑起远超常规的连接规模。
所谓 1500 万个“Web 服务器”,本质上是指同时监听并响应的 socket 数量。每个连接仅占用极少内存,服务器逻辑也非常轻量——这种极端场景更接近压力测试而非生产部署,但它清晰地展示了用户态网络栈的潜力边界。
为什么是 smoltcp
smoltcp 是一个用 Rust 编写的轻量级用户态 TCP/IP 协议栈,设计目标是可预测性和低开销。它不依赖操作系统内核的网络功能,开发者可以精确控制缓冲区、超时和连接状态。对于需要百万级并发连接的场景,这种可控性比通用内核栈更有优势。
Rust 的内存安全特性也降低了在用户态实现复杂网络逻辑的风险——尽管在追求极致性能时,某些不安全代码块仍难以避免。
用户态网络栈是指将传统上由操作系统内核负责的 TCP/IP 协议处理逻辑迁移到用户空间进程中的架构。在标准 Linux 中,应用通过 socket API 与内核协议栈交互,每个数据包都要经历网卡中断、内核网络层处理、系统调用等步骤。用户态网络栈则让应用直接接管数据包解析、连接状态维护和协议处理,从而消除内核与用户态之间的上下文切换和内存拷贝。代价是应用必须自行实现完整的协议逻辑、连接调度和资源管理。常见的用户态网络栈除 smoltcp 外,还有 lwIP、mTCP 等,它们通常与 DPDK、AF_XDP 等数据面技术配合使用,以在高并发场景下获得更低的延迟和更高的吞吐。
DPDK 与 AF_XDP:两条数据面旁路路径
文章标题同时提到 DPDK 和 AF_XDP,二者都用于将网络数据包绕过内核协议栈直接送入用户态,但定位不同。
DPDK 是成熟的高性能数据面开发套件,需要独占网卡或使用特定驱动,适合专用服务器环境。AF_XDP 则是 Linux 内核提供的机制,允许在保留内核管理能力的同时,将特定队列的数据包零拷贝地传给用户态程序,部署更灵活,但依赖较新的内核版本。
在虚拟化环境中,两者都面临额外挑战:虚拟网卡的性能特征与物理网卡不同,中断合并、队列数量和多租户隔离都会影响最终吞吐。作者选择在 VM 中做实验,可能正是为了验证这套方案在云环境中的可行性。
零拷贝在此语境下指数据包从网卡接收后,不经过内核协议栈的内存复制,而是直接映射到用户态程序可访问的缓冲区。传统路径中,网卡 DMA 写入内核缓冲区后,数据还要被复制到 socket 接收缓冲区,再复制到应用缓冲区,多次拷贝在高并发下成为显著开销。AF_XDP 通过 UMEM(用户态内存区域)和 XSK(AF_XDP socket)机制,让网卡直接把数据包写入用户预注册的内存页,用户态程序轮询读取,从而实现零拷贝接收。DPDK 则通过轮询模式驱动和巨页内存,完全绕过内核,由用户态直接管理网卡队列。零拷贝是降低延迟和提升吞吐的关键手段,但也要求应用自行处理内存生命周期和并发安全。
工程挑战与现实边界
根据 Hacker News 的讨论,社区对这类极限实验的态度既有赞叹也有质疑。32 条评论中,焦点集中在几个方面:一是连接建立的速率是否与监听数量匹配,二是内存占用在真实模拟中是否可控,三是这种架构对应用层协议的兼容性。
smoltcp 虽然支持 TCP,但某些高级特性(如复杂的拥塞控制、TCP 选项)的覆盖程度有限。这意味着 1500 万个连接的可运行性,不等于 1500 万个连接能高效承载真实 Web 流量。
另一个被讨论的点是调度与公平性:用户态协议栈绕过了内核调度器,如何在海量连接间公平分配 CPU 时间,需要应用层自行设计机制。这从侧面说明,用户态网络栈并非“免费的午餐”,它把复杂度从内核转移到了开发者手中。
拥塞控制是 TCP 协议中用于避免网络过载的核心机制,包括慢启动、拥塞避免、快速重传和快速恢复等算法。Linux 内核实现了多种拥塞控制算法(如 CUBIC、BBR),并经过长期生产环境验证。smoltcp 作为轻量级用户态栈,对拥塞控制的实现相对简化或可配置性有限,这意味着在真实广域网或高丢包环境下,基于 smoltcp 的连接可能无法像内核栈那样自适应地调整发送速率。对于仅监听并维持大量空闲连接的场景,拥塞控制的影响较小;但若这些连接需要承载实际 Web 流量,拥塞控制能力的缺失或简化就会成为性能瓶颈。这也是用户态协议栈在通用场景中难以完全替代内核栈的原因之一。
对行业的启示
这个实验的价值不在于数字本身,而在于它验证的架构方向。随着云原生和边缘计算对连接密度的要求提升,用户态网络技术正在从高频交易、CDN 等专用领域向更广泛的场景渗透。
据该文及社区讨论,这类方案的适用场景更偏向特定工作负载:需要海量长连接的推送服务、轻量级协议网关、以及网络功能虚拟化测试床。对于常规 Web 应用,内核网络栈的成熟度和可维护性仍然难以替代。
1500 万这个数字,更像一把标尺,丈量出用户态协议栈与数据面旁路技术组合后能达到的边界。至于边界之内能建成什么样的应用,才是接下来值得探索的问题。
相关推荐

Gemini 4 Neon发布:编程登顶,Gemini 4世界模型开放
谷歌发布Gemini 4 Neon,编程代理指数登顶、支持百万Token上下文;Gemini 4世界模型开放Project Genie;DeepSeek联网搜索免费;微软公开Windows端侧小模型;白宫讨论要求美企披露是否使用中国开源模型。

近8万星开源项目:本地白用26个大模型,DeepSeek、GLM全有
B站视频介绍一个近8万星开源项目,装好后本地白用26个大模型,DeepSeek、GLM全在里面,不用注册、不用填密钥,还能开本地地址供其他软件接入,适合不想充AI会员的轻量用户。

谷歌Gemini 4 Neon发布:百万元Token仅3美元,AI价格战再升级
谷歌发布Gemini 4 Neon,输入仅3美元/百万Token;腾讯混元开源Hy4 Flash;DeepSeek取消搜索抓取接口费;微软推出图像与语音新模型;英伟达停止向中国发运H200;花旗银行明确AI理财盗刷不兜底。一文速览当日AI硬核动态。