Nicksxs's Blog

Java 运行时、生产诊断与 AI 工程实践

深度专题

从原理到可复现实践

围绕 Java 运行时、低成本大模型推理和 Agent 工程,按学习顺序整理已有文章。

查看全部

Java 运行时与生产诊断

9 篇 · 代表文章:从 ASM 到 ByteKit 再到 Arthas

从类加载、Java Agent 和 Javassist 进入字节码增强,最后串联到 ByteKit 与 Arthas。

按顺序阅读

低成本大模型推理

8 篇 · 代表文章:8GB 显存运行 35B MoE 模型

从本地部署、量化和 KV Cache 参数入手,逐步理解显存占用、GPU Offload 与 MoE 专家缓存。

按顺序阅读

Agent 工程实践

4 篇 · 代表文章:Claude Code 实现原理

从 Agent 开发框架和工具系统出发,理解循环、上下文、工具调用、Subagent 与 MCP 的工程实现。

按顺序阅读

在 16GB 显存的 RTX 5060 Ti 上运行 16.46GB 的 Qwen3.8-27B-UD-Q4_K_M.gguf,通过只把 682MB 词嵌入表留在内存、全量锁定 64 层主干与 1.04GB 输出头驻留显存,并针对 757 个解码算子完成 5 项底层 CUDA 手术,在贪婪采样 Token 序列与 Logits 逐位对齐的前提下,将单并发解码速度推到 24.94 tok/s,超过同配置的 llama.cpp。

阅读全文 »

看完 6GB 和 8GB 显存用 FreeToken 跑 35B MoE 模型之后,很多人的第一反应是能不能用同样的专家缓存思路跑 Qwen3.8-27B 这种稠密模型。这篇聊聊为什么 FreeToken 和 Strata 的稀疏 MoE 缓存在稠密模型上会失效,以及单卡 16GB 显存下围绕显存规划、GGUF 混合量化原位 GEMV 和单流执行所做的工程实践。

阅读全文 »
0%