通义千问——本地部署
来源:
2023-08-25 12:45:21
Qwen-7B-Chat
Qwen-7B是阿里云研发的通义千问大模型系列的70亿参数规模的模型,Qwen-7B是基于Transformer的大语言模型。
模型地址:/models/qwen/Qwen-7B-Chat/files
环境安装
(资料图片仅供参考)
操作系统
官方推荐Anaconda环境,实测不兼容。
torch使用,cuda使用。
安装NLP包
实际运行时,缺啥补啥,如本文缺少tiktoken。
模型下载
默认地址为:~/.cache/modelscope/hub
使用
加载本地模型,如报错缺啥补啥。
问
答
关键词: