个人学习小站 SIGNAL DESK 2026
LIVE --:--:--
Tag

#显存

共 23 篇内容 · 第 1 / 2 页 tag
模型选型开源本地部署
人工智能
11-18 10 小时前 约 6 分钟 11 阅读

中文会议录音转文字怎么选:英文第一的开源模型错三成

NVIDIA Nemotron 3.5 Transcribe 拿下英文 Open ASR 榜首,官方技术报告里中文远场会议的 cpCER 却是 32.91% 与 34.95%,关掉循环护栏还要涨到 45% 以上。这篇拆开数字的来历,讲清中文会议该用哪条方案、怎么部署。

技术决策开源模型本地部署
人工智能
11-18 11 小时前 约 6 分钟 4 阅读

国产卡当天适配 Kimi K3.1,700 块的 S80 为什么跑不了

Kimi K3.1 Pro 开源当天,海光与摩尔线程都宣布适配,但适配对象是 64GB 模组级数据中心卡。消费级摩尔线程 MTT S80 只有 16GB 显存,本地部署差着 87 倍。这篇算清三笔账:适配对象、显存体积、系统与引擎。

技术决策评测方法部署
人工智能
11-18 13 小时前 约 12 分钟 6 阅读

Arc Pro B60 24G 多卡:四卡方案的账怎么算

四张 B60 是 96GB 显存,价格约等于一张 RTX 5090 的一半,但多卡补的是容量不是速度。按官方规格与可查实测,拆开带宽、并行方式、功耗与故障域,给出「什么规模才值得上多卡」的判断线。

模型选型评测方法部署
人工智能
11-18 13 小时前 约 11 分钟 6 阅读

SGLang 在 Arc B 系列上跑:并发压测与显存预留

SGLang 对 Intel 的支持是「按卡型加按模型清单」的,本文逐条核对官方承诺范围,给出源码与镜像安装命令、mem-fraction-static 与 page size 的取舍,以及一套不编数字的并发压测方法与指标口径。

模型选型开源模型本地部署
人工智能
11-18 13 小时前 约 10 分钟 5 阅读

Arc 上跑多模态模型:视觉编码器吃掉多少显存

VLM 的显存是三笔账:视觉塔权重、图像 token 撑起的 KV、引擎启动时按最大分辨率跑视觉编码器的激活预留。Qwen2.5-VL-7B 的视觉塔只占 8%,但 AWQ 后仍有 3.5GB 是 bf16。

模型选型开源模型部署
人工智能
11-18 13 小时前 约 11 分钟 6 阅读

用 Intel 显卡搭 RAG:embedding 与 rerank 的显存怎么分

把 RAG 链路上的 embedding、rerank、生成三类模型拆开算显存,给出 12GB 与 16GB 卡的四种分配方案,说明 batch 与序列长度对编码吞吐的影响,并附一套可直接运行的最小服务组合。

ComfyUI显存Intel显卡
人工智能
11-18 13 小时前 约 10 分钟 5 阅读

Flux 在 Intel 显卡上跑得动吗:显存账与三步降级

把 Flux 拆成 DiT、T5、CLIP、VAE 四段算显存,给出 fp16、fp8、GGUF 三档的真实体积与 12GB、16GB、24GB 卡的可行配置,再按「换量化格式、换文本编码器精度、降分辨率」三步给出降级顺序。

本地部署ComfyUI显存
人工智能
11-18 13 小时前 约 10 分钟 5 阅读

ComfyUI + Intel Arc:从驱动到第一张图的完整配置

按驱动、Python 环境、XPU 版 PyTorch、ComfyUI 本体、模型目录、首个工作流的顺序走一遍,给出每一步的验证方法和四个值得改的启动参数,并附 SD1.5、SDXL、Flux 三档的显存与耗时量级。

模型选型开源模型本地部署
人工智能
11-18 13 小时前 约 11 分钟 5 阅读

DeepSeek-R1 蒸馏版部署到 Arc:可行路线与速度预期

先说清 R1 蒸馏版是 Qwen2.5 与 Llama 3 底座的微调模型,不是 R1 本体;再按真实 GGUF 体积给出 7B、8B、14B、32B 在 12GB、16GB、24GB 卡上的可行档位,并说明推理模型为何被输出长度拖住。

本地部署Ollamallama.cpp
人工智能
11-18 13 小时前 约 12 分钟 3 阅读

在 Arc 上跑 Qwen3:量化档位、显存占用与速度预期

按 Qwen 官方 GGUF 仓库的真实文件体积,算清 Qwen3 8B/14B/32B 各量化档的权重与 KV 开销,给出 12GB、16GB、24GB 三档 Arc 显卡的可行组合,并说明思考模式如何把输出长度变成显存压力。

本地部署ComfyUI显存
人工智能
11-18 13 小时前 约 11 分钟 2 阅读

Windows 下 Arc 跑 ComfyUI:报错清单与配置对照

从驱动、Python、XPU wheel 三者的版本对齐讲起,把 Windows 上用 Arc 跑 ComfyUI 的高频报错整理成「报错—原因—改法」表,并说明 xformers 为何装不上、显存不够时该动哪几个参数。

本地部署Ollamallama.cpp
人工智能
11-18 13 小时前 约 10 分钟 6 阅读

跑模型时 GPU 占用 0%:三处回退路径的定位方法

显存不够导致层回退 CPU、后端没编进二进制、进程把活派给了核显——三类「跑了但没用上卡」的日志特征与判定顺序,含 llama.cpp 日志怎么读、-lv 4 怎么开、Ollama 与 ComfyUI 各自的设备开关。