Glacier.Inference.Distributed
纯C# .NET实现的开源分布式LLM推理项目，采用流水线并行将GGUF模型按层切分到多台异构设备上，支持Native AOT，零Python/C++依赖
时间轴 (近 90 天)
Glacier.Inference.Distributed采用流水线并行（pipeline parallelism），把GGUF格式的Transformer模型按层切分到N台机器上，不要求集群硬件规格统一。
在LLM顺序解码阶段，流水线并行集群交换的是激活张量而非模型权重；以隐藏维度d=3584为例，FP32精度下每token约14.3KB，动态量化为对称INT8后在网络上只有5.1KB每跳。
标准千兆网下流水线并行一跳约0.45ms，完整3跳约7.88ms，占总token执行时间不到0.2%，因此千兆网对分布式推理完全够用，瓶颈不在网络。
Glacier.Inference.Distributed完全用纯C#针对.NET 10从头构建，支持Native AOT，零Python、零C++依赖，部署时不需要在每台机器上配置Python环境。
Glacier.Inference.Distributed的网络管道基于System.IO.Pipelines，使用64字节对齐的socket帧（ClusterFrameHeader+FusedActivationHeader）。
Glacier.Inference.Distributed的热解码循环中达到0次Gen0/Gen1/Gen2垃圾回收，托管堆分配为0字节。
Glacier.Inference.Distributed能自动将计算路由到独立GPU（Direct3D 12）、集成APU，或CPU上的多线程SIMD/AVX-512向量路径。
Glacier协调器会对Qwen2-57B-A14B（57B参数，每token激活14B，8/64 MoE）在4节点上每节点分7层共28层，磁盘占用约25.6GB（Q3_K_M量化）。
Glacier内置纯C#多流HTTP Range下载器，打开并发socket来跑满带宽，不依赖huggingface-cli或外部Python工具。
Glacier.Inference.Distributed项目位于GitHub仓库 https://github.com/ian-cowley/Glacier.Inference.Distributed.git，部署需先安装.NET 10 SDK。
全部知识事实 (10)
Glacier.Inference.Distributed采用流水线并行（pipeline parallelism），把GGUF格式的Transformer模型按层切分到N台机器上，不要求集群硬件规格统一。
50%待验证在LLM顺序解码阶段，流水线并行集群交换的是激活张量而非模型权重；以隐藏维度d=3584为例，FP32精度下每token约14.3KB，动态量化为对称INT8后在网络上只有5.1KB每跳。
50%待验证标准千兆网下流水线并行一跳约0.45ms，完整3跳约7.88ms，占总token执行时间不到0.2%，因此千兆网对分布式推理完全够用，瓶颈不在网络。
50%待验证Glacier.Inference.Distributed完全用纯C#针对.NET 10从头构建，支持Native AOT，零Python、零C++依赖，部署时不需要在每台机器上配置Python环境。
50%待验证Glacier.Inference.Distributed的网络管道基于System.IO.Pipelines，使用64字节对齐的socket帧（ClusterFrameHeader+FusedActivationHeader）。
50%待验证Glacier.Inference.Distributed的热解码循环中达到0次Gen0/Gen1/Gen2垃圾回收，托管堆分配为0字节。
50%待验证Glacier.Inference.Distributed能自动将计算路由到独立GPU（Direct3D 12）、集成APU，或CPU上的多线程SIMD/AVX-512向量路径。
50%待验证Glacier协调器会对Qwen2-57B-A14B（57B参数，每token激活14B，8/64 MoE）在4节点上每节点分7层共28层，磁盘占用约25.6GB（Q3_K_M量化）。
50%待验证Glacier内置纯C#多流HTTP Range下载器，打开并发socket来跑满带宽，不依赖huggingface-cli或外部Python工具。
50%待验证Glacier.Inference.Distributed项目位于GitHub仓库 https://github.com/ian-cowley/Glacier.Inference.Distributed.git，部署需先安装.NET 10 SDK。
50%