关于适合什么模型,推荐下llmfit
上次我是实地使用llama.cpp跑了本地大模型,这种测试成本比较大, 刚好上次看到有个软件可以运行在本地来评估当前机器的性能可以跑什么样的大模型 它就是llmfit 在mac可以使用 windows可以 安装好就可以直接运行了 可以看到有列了很多模型,包括参数量,token速…
上次我是实地使用llama.cpp跑了本地大模型,这种测试成本比较大, 刚好上次看到有个软件可以运行在本地来评估当前机器的性能可以跑什么样的大模型 它就是llmfit 在mac可以使用 windows可以 安装好就可以直接运行了 可以看到有列了很多模型,包括参数量,token速…
在 RTX 3060 Laptop 6GB 显卡上使用 llama.cpp 运行 9B 量化模型,通过 64K 上下文、Flash Attention、KV Cache 量化和 GPU Offload 参数控制显存占用。
一段时间都有在用大模型来辅助编程,不过现在很多都叫成vibe coding了,连胡彦斌都在vibe coding了, 现在是个全民皆可做软件开发的时代,包括像之前那个小猫补光灯,有的人的想法是说点子不重要了 我自己想的有点不一样,vibe coding现在是把成熟的开发者和小白…
偶尔下载一些视频媒体的时候会想要对它进行压缩来缩小占用空间, 但是如果每次等下载完再去用软件压缩会比较麻烦 这里就找到了inotify扩展,可以监听文件变更 这里其实想吹一下小米的mimo2.5模型,因为要装php扩展, 我的是php7.4,网上搜了下有基于pecl,有的是基于…
类或对象的组合关系复杂。对象之间职责划分、通信流程复杂。二、不同设计模式适合的场景。(一)创建型模式:解决“对象怎么创建”