个人学习小站 SIGNAL DESK 2026
LIVE --:--:-- 投稿 账号
Tag

#长上下文

共 5 篇内容 tag
11-12 人工智能 22 小时前

本地跑大模型要多少显存:8 档参数与 3 种精度对照

显存不是一条公式能算完:权重占参数×字节,KV 缓存随上下文线性增长,框架还有 1-2 GB 开销。本文给出 8 档参数在 FP16/INT8/Q4 下的权重表、常见显卡能跑多长上下文,以及 MoE 与量化最容易踩的三个坑。

模型 config.json、量化文件实测、框架显存日志与官方模型卡 约 5 分钟 6 阅读 技术决策开源模型部署
11-11 人工智能 1 天前

文心 5.5 Flash:同档全胜,旗舰只赢办公

文心 5.5 Flash Preview 把 8 项基准的对手拆成同档与旗舰两组:对同档 8 比 0,对旗舰只赢办公三项。输出价闲时折后每百万 Token 2 元,一小时 1.44 元。

百度官方发布稿(微信公众号)与 AIBase、金融界、Yahoo 财经转述交叉核对 约 4 分钟 12 阅读 评测方法性价比长上下文
11-11 人工智能 1 天前

Qwen3.8-27B:24GB 能跑,262K 装不下

同一份开源权重,四种显卡算出四本账:权重 16.4 GB 装得下,262K 上下文的缓存却要 16 GiB。本文用 config.json 与实测日志,把权重、缓存、推理三笔成本拆开算。

Qwen 官方模型卡与 config.json、vLLM 实测日志、Unsloth 量化文件、BenchLM 与 Vals AI 独立评测 约 4 分钟 9 阅读 技术决策开源模型阿里通义
11-10 人工智能 3 天前

蚂蚁百灵 Ling-3.2-flash 发布:560B 参数只激活 25B,输入价 $0.3

11月6日蚂蚁百灵发布 Ling-3.2-flash:560B 参数 MoE、激活 25B、1M 上下文,支持看图与电脑操作。官方自测三项基准超 Claude Opus 5,API 输入价每百万 token 0.3 美元,前两周免费。本文拆解其规格、定价逻辑与自测成绩的边界。

蚂蚁集团官方发布 / 网易 AI速递 约 3 分钟 9 阅读 大模型性价比多模态
G 闭源 · Grok 4.20 / 2026-03-31

Grok 4.20 规格速查

xAI

2M 上下文、180 万 token 最大输出,是整份目录里上下文最长的型号。输入 1.25 美元、输出 2.5 美元,官方称其幻觉率与提示遵循表现突出。

参数
未公开
上下文
2M tokens
价格
输入 1.25 / 输出 2.5 美元每百万 tokens
模态
多模态
11-09 7 阅读