个人学习小站 SIGNAL DESK 2026
LIVE --:--:-- 投稿 账号
Tag

#本地部署

共 12 篇内容 tag
11-13 人工智能 6 小时前

Unsloth Desktop 来了:不写代码微调,显存门槛在哪

Unsloth 原本是给开发者用的微调库,现在有了桌面端安装包。它把 LoRA 微调做成界面操作,但显存需求没变——7B 模型微调仍然要 16GB 级显卡起步。

GitHub 仓库与 Releases 页面,核对 2026-11-13 约 2 分钟 2 阅读 开源后训练本地部署
11-13 人工智能 6 小时前

Chatbox 是干什么的:一个客户端壳,模型和 Key 自己填

Chatbox 不提供模型,只提供界面。装完之后要自己填 API Key,或者指向本机的模型服务。它的价值在于轻、跨平台、支持本地模型,代价是所有配置都要自己来。

GitHub 仓库与 Releases 页面,核对 2026-11-13 约 2 分钟 2 阅读 工具AI助手本地部署
11-13 人工智能 6 小时前

Jan 本地大模型客户端:离线能用,模型要自己备

Jan 把 llama.cpp 包进图形界面,断网也能对话。取舍很明确:不绑定云服务,所以模型、显存、下载都得自己解决。10 月 28 日的 v0.8.8 主要修安全问题,并给本地 API 加了来源校验。

GitHub 仓库与 Releases 页面,核对 2026-11-13 约 2 分钟 2 阅读 开源AI助手本地部署
11-13 人工智能 6 小时前

LocalAI 是什么:OpenAI 接口兼容,先把这个补丁打上

LocalAI 的价值不在界面上,而在接口:它把本地模型包装成 OpenAI 兼容的 /v1 端点,现有代码改个 base_url 就能切过来。10 月 23 日的 v4.12.1 只做了一件事——修一个用户可控 URL 的安全问题。

GitHub 仓库与 Releases 页面,核对 2026-11-13 约 2 分钟 2 阅读 自托管API本地部署
11-13 人工智能 6 小时前

KoboldCpp 下载哪个版本:exe、nocuda 和安卓版怎么选

KoboldCpp 把推理引擎、网页界面和图像语音生成塞进一个可执行文件,双击就能用。代价是版本分支多:CUDA、nocuda、oldpc、mac-arm64,选错了直接报错。这篇按显卡类型给出选择顺序。

GitHub 仓库与 Releases 页面,核对 2026-11-13 约 2 分钟 2 阅读 图像生成开源本地部署
11-13 人工智能 6 小时前

llama.cpp 部署 Windows:预编译包和自编译怎么选

llama.cpp 是很多本地模型软件的底层引擎,但它自己也能直接用。Windows 上不必装 Visual Studio,官方每次构建都发预编译包,选对后端解压就能跑。这篇讲清包怎么挑、模型从哪来、显存不够时调什么。

GitHub 仓库与 Releases 页面,核对 2026-11-13 约 2 分钟 2 阅读 部署开源本地部署
11-13 人工智能 6 小时前

Ollama 是什么:本地部署大模型,先分清服务和客户端

Ollama 装完不会给你聊天窗口,它只在本机起一个模型服务,把 11434 端口开给别的软件用。这篇说清它到底做了什么、适合谁、11 月这版改了什么,以及第一次安装最容易卡住的三个地方。

GitHub 仓库与 Releases 页面,核对 2026-11-13 约 2 分钟 5 阅读 工具开源本地部署
11-13 人工智能 7 小时前

GLM-5 的 744B 参数:MoE、200K 上下文与许可

GLM-5 是 744B 总参数、约 40B 激活的 MoE 模型,200K 上下文,MIT 许可。参数不直接决定体验,激活量和上下文才决定成本结构,这篇逐个数字拆。

GLM-5 技术报告与模型卡、公开报道,核对于 2026-11 约 3 分钟 2 阅读 模型选型开源模型智谱
11-13 人工智能 7 小时前

Kimi K3:2.8T 参数、1M 上下文与 1.56TB 权重

把 K3 的四个关键数字分开解释,说明 1.56TB 是下载体积而不是显存占用、104B 激活参数意味着什么,以及这些参数对普通用户有没有感知。

Kimi 官方发布公告与技术报告、Hugging Face 仓库快照、第三方部署分析,核对于 2026-11 约 3 分钟 2 阅读 模型选型开源模型本地部署
11-13 人工智能 7 小时前

DeepSeek 开源许可能商用吗:MIT 的边界和三个前提

能商用,不绑用户数、不绑收入、不用申请。但 MIT 只免掉版权这一层,商标、专利、模型输出的责任都还留在使用方身上,三个前提要逐条核对。

DeepSeek 官方发布说明、Hugging Face 模型卡、许可文本比对,核对于 2026-11 约 3 分钟 2 阅读 DeepSeek开源模型企业
11-13 人工智能 7 小时前

DeepSeek 本地部署要多少显存:510GB 权重和三档现实路线

官方权重约 510GB,最小量化版仍有 113GB。先统一参数量口径,再按全 GPU、SSD 流式、小模型三条路线判断你的机器够不够。

Hugging Face 模型卡、官方发布说明、第三方硬件测算,核对于 2026-11 约 3 分钟 3 阅读 DeepSeek开源模型成本优化
11-13 人工智能 7 小时前

千问电脑版:Windows、Mac、鸿蒙三端的差异和同步边界

三个桌面端功能不同,同步能力也不同。本文对照 Windows、macOS、鸿蒙电脑的安装来源与能力差异,说明手机遥控电脑怎么用,以及哪些东西根本不同步。

千问官网、华为鸿蒙生态公开报道、千问办公帮助文档,核对于 2026-11 约 3 分钟 2 阅读 AI助手办公自动化千问