为什么专家缓存救不了稠密模型:16GB 显存跑 27B Dense 模型的推理优化实践
看完 6GB 和 8GB 显存用 Strata 跑 35B MoE 模型之后,很多人的第一反应是能不能用同样的办法跑 Qwen3.8-27B 这种稠密模型。这篇聊聊为什么专家缓存在稠密模型上会失效,以及单卡 16GB 显存下围绕显存规划、GGUF 混合量化原位 GEMV 和单流执行所做的工程实践。
围绕 Java 运行时、低成本大模型推理和 Agent 工程,按学习顺序整理已有文章。
从类加载、Java Agent 和 Javassist 进入字节码增强,最后串联到 ByteKit 与 Arthas。
按顺序阅读从本地部署、量化和 KV Cache 参数入手,逐步理解显存占用、GPU Offload 与 MoE 专家缓存。
按顺序阅读从 Agent 开发框架和工具系统出发,理解循环、上下文、工具调用、Subagent 与 MCP 的工程实现。
按顺序阅读看完 6GB 和 8GB 显存用 Strata 跑 35B MoE 模型之后,很多人的第一反应是能不能用同样的办法跑 Qwen3.8-27B 这种稠密模型。这篇聊聊为什么专家缓存在稠密模型上会失效,以及单卡 16GB 显存下围绕显存规划、GGUF 混合量化原位 GEMV 和单流执行所做的工程实践。
从腾讯云已有新证书、网站仍使用旧证书的问题讲起,结合 ssl-sync 的 Go 源码,解释证书查询与下载、域名和私钥校验、文件摘要比较、原子替换、TLS 入口验证与失败回滚,以及 Docker 挂载和定时任务的实现边界。
介绍腾讯 Octop 的产品定位与 WorkBuddy 对比,解释 Deep Agents、LangChain 和 LangGraph 的分工,再沿源码追踪 Agent Loop、工具调用、会话状态与权限边界,给出本地部署要求和验证路径。
结合 Pi Agent 1.0 的固定版本源码,分析 MCP 工具的按需发现、QuickJS 代码编排、结果过滤与后台连接,直接对照提示词压缩前后的代码,并说明 OAuth、会话恢复和工具搜索的实现边界。
从普通人的视角解释 Qwen-Image 2.1 如何把一句提示词变成图片,文本编码器、DiT 和 VAE 为什么缺一不可,以及 RTX 3060 6GB 配合 32GB 内存如何通过 Unsloth Desktop 和模型卸载跑起来。