Nicksxs's Blog

Java 运行时、生产诊断与 AI 工程实践

BROWSER-ONLY DIAGNOSTICS

大模型本地运行参数生成器

输入显卡型号、显存、内存、模型参数量、量化和上下文长度,估算显存占用并生成 llama.cpp、vLLM 或 FreeToken 启动参数。

本地处理不会上传文件

填写硬件与模型配置

先判断能否装下权重与 KV Cache,再生成偏稳定的起步参数。

运行环境

模型与负载

结果是安全起点,不替代模型实测和后端启动日志
等待硬件配置默认值代表单卡 6GB 显存、32GB 内存运行 7B Q4 模型。
0%