先放一个在线体验版,大家可以先用用看,觉得好用再考虑本地部署
Qwen:https://chat.qwen.ai
部署相关问题:
一、本地部署需要什么配置?
本地部署最好是有显卡,英伟达,AMD,英特尔显卡都可以,高性能的显卡可以加速推理过程。
即便没有显卡的情况下,也可以通过CPU推理,但是速度会下降,并且由于没有显存,就需要更多的内存来运行,一般16G运行内存的设备建议运行9b以内的模型。千问QwQ32B即便是Q4量化版也需要32G运行内存(实际占用不需要32G,但是考虑到大部分电脑装机内存都是16G、32G、64G这种)。
二、使用AingDesk本地一键部署千问QwQ-32B
新手一键运行起来的本地部署工具:AingDesk
AingDesk官网:https://www.aingdesk.com/zh/
下载安装后,他会帮你安装ollama推理后端,AingDesk本身只提供可视化管理,和联网搜索,以及本地文件内容检索(后续会支持)。
三、Intel独立显卡用户需注意
如果你是Intel ARC显卡,那么可以替换支持intel显卡优化的ollama版本,下载解压到你自定义的目录,双击运行start-ollama.bat启动优化版。然后再启动aingdesk。不要用aingdesk默认安装的ollama。
Intel优化版:https://www.modelscope.cn/models/ipexllm/ollama-ipex-llm/summary
四、Qwq本地部署相关视频教程
该视频是通过aingdesk部署deepseek32b的,但是qwq也一样,区别就是搜索的时候把deepseek换成qwq,然后找到对应的版本。
【开源工具,一键免费部署,支持几十种模型Aingdesk】 https://www.bilibili.com/video/BV1gVAmenEmd