Nicksxs's Blog

6GB 显存加速 GPT-OSS 20B：GPU Offload 层数与速度实测

发表于 2025-09-21 分类于 LLM 阅读次数：

使用 RTX 3060 Laptop 6GB 显卡和 LM Studio 运行 GPT-OSS 20B，实测不同 GPU Offload 层数、显存占用与生成速度，并说明小显存配置的限制。

发表于 2025-09-13 分类于 LLM 阅读次数：

之前体验过gemini code这个工具，谷歌还算比较友好，有token，有网络就可以用，claude code目前是个很严格，而且这家公司也对国内用户很不友好所以就研究了下怎么把它对接上国内的模型幸好之前deepseek发布v3.1的时候天然给了支持

发表于 2025-09-07 分类于 LLM 阅读次数：

上次是文字型的，这次我们来写点代码试试，看看效果怎么样首先肯定是比较简单的尝试开始写一个todo应用，主要是看能不能零改动就跑起来用最简单的提示词然后就给出了代码

发表于 2025-08-30 分类于 LLM 阅读次数：

本文拆解 GPT-OSS 20B/120B 的 MoE、稀疏注意力、GQA 与 RoPE 架构，并记录 18GB 内存 MacBook Pro 通过 Ollama 运行 20B 模型的资源占用和实际表现。

发表于 2025-08-24 分类于 LLM 阅读次数：

上周被spring-ai调用模型api这个折腾的有点难受，这周又试了下用deepseek官方的api，但结果还是一样，不确定是啥原因，请求会一直卡着后来想着本地有ollama，那是不是可以直接用ollama来调本地模型这里我们用一个非常基础很小的模型然后对应的配置是当然…