傻瓜、一站式部署本地大语言模型,大概就是打开电脑 > 双击运行程序 > 开始提问 > 获得 AI 回答这样三步走。
你唯一需要操心的事情,就是挑选模型,然后下载使用,就好了。
>>> 模型下载地址:https://huggingface.co/lmstudio-community
>>> 镜像地址: https://hf-mirror.com/lmstudio-community
>>> 国内模型:https://www.modelscope.cn/models
直接在目前可用的镜像网站 HF-Mirror 搜索你需要的模型,比如 Meta-Llama-3.1-8B-Instruct-GGUF,然后找到对应的 Files 页面,挑选你需要的模型,点击那个下载按钮
安装模型
%USER%是电脑用户名,不是固定的,自己检查
LM Studio 默认的模型保存路径在 C:\Users\%USER%\lm-studio\models,可以更换:
不过这里注意,你需要使用 ${Publisher}/${Repository}/${ModelFile}这样的路径结构,如上图第二个红色框框,需要将手动下载的 .gguf 模型文件保存在路径的两级文件夹下才能正确识别。
然后,就能提问了。会自动使用你的 CPU、GPU…
>>> 下载地址(包含几个热门模型我替你们下载了) <<<
我用夸克网盘分享了「LM-Studio」,点击链接即可保存。打开「夸克APP」,无需下载在线播放视频,畅享原画5倍速,支持电视投屏。