通义千问——本地部署

来源: 哔哩哔哩 2023-08-25 12:45:21

Qwen-7B-Chat

Qwen-7B是阿里云研发的通义千问大模型系列的70亿参数规模的模型,Qwen-7B是基于Transformer的大语言模型。

模型地址:/models/qwen/Qwen-7B-Chat/files

环境安装


(资料图片仅供参考)

操作系统

官方推荐Anaconda环境,实测不兼容。

torch使用,cuda使用。

安装NLP包

实际运行时,缺啥补啥,如本文缺少tiktoken。

模型下载

默认地址为:~/.cache/modelscope/hub

使用

加载本地模型,如报错缺啥补啥。

关键词:

你可能会喜欢: