随着企业把大模型推理搬回自有机房，Kubernetes 上的 GPU 资源如何被多团队、多模型高效且安全地共享，正成为云原生领域的新痛点。Linkerd 背后的公司 Buoyant 近期发布开源项目 Kinference，试图用“控制平面”的思路补上这一层。

Kinference 定位于 vLLM 等推理引擎之上的控制平面，部署在任何启用了 GPU 的 Kubernetes 集群中。它位于推理请求与后端 vLLM Worker 之间，做三件事：一是用声明式“推理策略”（InferencePolicy）定义路由、限流与合规规则；二是基于 vLLM 的 KV 缓存事件与队列状态做缓存感知的负载均衡，把请求导向命中率最高的副本；三是按租户、团队统计 GPU 用量与成本，实现精细化归因。

在 Buoyant 自报的基准中，相较普通的 Kubernetes Service 随机路由，Kinference 在共享前缀（shared-prefix）工作负载下把首字延迟（TTFT）中位从约 6.88 秒降到 0.31 秒，降幅约 95%，端到端延迟也有明显下降。项目以 Apache 2.0 许可开源，当前仍为早期 alpha 版本，但“vLLM 做数据面、Kinference 做控制面”的清晰定位，为主机厂与平台团队提供了一条可落地的私有化推理治理路径。

来源：Buoyant