通过显卡来给gpt-oss做个加速
之前在我的MacBookPro里使用gpt-oss,因为总的内存只有18g,加上系统本身和各种后台程序的占用,剩下的一般就一半左右,然后这个模型大小就有13g左右,运行起来是很吃力的 正好我这有个服役比较久的windows笔记本,带有3060显卡,只是显存是6g的,想试下看能不能…
之前在我的MacBookPro里使用gpt-oss,因为总的内存只有18g,加上系统本身和各种后台程序的占用,剩下的一般就一半左右,然后这个模型大小就有13g左右,运行起来是很吃力的 正好我这有个服役比较久的windows笔记本,带有3060显卡,只是显存是6g的,想试下看能不能…
之前体验过gemini code这个工具,谷歌还算比较友好,有token,有网络就可以用,claude code目前是个很严格,而且这家公司也对国内用户很不友好 所以就研究了下怎么把它对接上国内的模型 幸好之前deepseek发布v3.1的时候天然给了支持
上次是文字型的,这次我们来写点代码试试,看看效果怎么样 首先肯定是比较简单的尝试开始 写一个todo应用,主要是看能不能零改动就跑起来 用最简单的提示词 然后就给出了代码
openai终于履行诺言开源了自家模型,只不过不是像deepseek那样把最新最好的开源出来,而是专门调了一大一小两个模型来开源,当然也有一些技术亮点 刚好我本地是18g内存的mbp,勉强可以跑20b大小的,这次开源的有20b跟200b感觉尺寸上还是比较取巧的,20b适合个人本地…
上周被spring-ai调用模型api这个折腾的有点难受,这周又试了下用deepseek官方的api,但结果还是一样,不确定是啥原因,请求会一直卡着 后来想着本地有ollama,那是不是可以直接用ollama来调本地模型 这里我们用一个非常基础很小的模型 然后对应的配置是 当然这…