Z.ai: GLM-5.3-Flash-inference op Chinese chips (Infra Agent)

Z.ai-blog (HN 17 sep 2026): “Toward Recursive Self-Improvement: How GLM Built Its Own Inference Infrastructure.” Alle production-inference voor GLM-5.3-Flash draait op een cluster van meer dan 100.000 Chinese AI-accelerators — eerste deployment op die schaal volgens Z.ai. Stack: custom engine op SGLang, W8A8, mixed INT8/FP8/BF16 KV-cache, ReplaySSM, Layer Split, Encode–Prefill–Decode-disaggregation voor multimodal + 1M-context. Een Infra Agent aangedreven door GLM-5.3 hielp engineers kernels schrijven, bottlenecks diagnosticeren en de serving-stack optimaliseren; in <2 weken ~3× end-to-end throughput t.o.v. de initiële baseline, met per-token kosten vergelijkbaar met mainstream Nvidia. Claim: model optimaliseert systeem; systeem serveert model. Training-hardware blijft apart; dit gaat over inference.