最近在复现Asynchronous Large Language Model Enhanced Planner for Autonomous Driving这篇论文的时候遇到了各种问题,其中主要的就是,论文的数据集和使用到的大模型llama2是存放在一个叫hugging face的论坛网站里面的,完全不会使用
(针对大模型llama,大家也可以去官网申请https://ai.meta.com/llama/)
可以参考下载 llama2-7b-hf 全流程【小白踩坑记录】
在这里主要分享自己的踩雷点
1.huggingface 下载
1.注册账号
最开始根据文章源码github的链接来到huggingFace网站,注册账号后(需要注意会涉及到之后申请许可的问题,所有国家信息这一栏尽量填写国外地址,我最开始使用自己账号没有,就被拒绝了,所有换了个号再来申请)

2.获得该帖子(项目)许可
我这里以及获取了许可,我就简单说下没有获取许可应该怎么做
在Model card 页面一直往下翻,如果现在的模型版本和信息不是你想要的,下面也有选项支持跳转到对应的llama模型版本。在最下面就会有填写基础信息并申请access 的part,发送后10分钟左右会出现结果。(下面的图就是申请成功后的页面)

3.创建自己的Access Key

token name自己设定就行,token type选Fine-grained,然后下面标记部分选择想要访问的存储库,为指定的存储库设置下面的所有用户级或组织级权限。(因为我已经获得了Llama-2-13b-chat-hf的访问权,所有会自动出现)。

!!!创建好后的token密令需要保存下来,之后很难再能查看!!!
!!!创建好后的token密令需要保存下来,之后很难再能查看!!!
!!!创建好后的token密令需要保存下来,之后很难再能查看!!!

然后就是我之前踩到的雷了,因为huggingFace以前没有用过,右上角的各自按钮是关于部署api的,没找到下载方法,就去网上查了一下,huggingface官网有讲自己的下载方式,其中很多博主教程是用huggingface-cli下载。也就是——

以下代码,具体教程可以看官网的讲解
首先需要
安装依赖
pip install -U huggingface_hub
再调用函数下载
基本用法-下载模型
huggingface-cli download bigscience/bloom-560m --local-dir bloom-560m
基本用法-下载数据集
huggingface-cli download --repo-type dataset lavita/medical-qa-shared-task-v1-toy

但是难受的是我每次运行就会报错,主要就是显示
(博主肯定是挂了梯子的!!!)
再网上寻找解决方法无果后,有去尝试通过申请官方许可下载,但一直没有回信,最后博主只能尝试用最笨的方法,也就是git clone 直接下载,好在网络给力了一次,成功下载。(就是可怜我的梯子流量,呜呜呜)同时再之后查询网上资料的时候实际上也有发现一个huggingface的国内镜像,只能说博主是有够猪比的。

使用git clone需要下载更新 git lfs库
git-lfs(Git Large File Storage)是一种Git扩展,专门用于处理大型文件和二进制文件的版本控制。通常,Git对大型文件的处理不太高效,而Git LFS提供了一种更好的方式来存储和管理这些文件。
如果使用的是Debian或Ubuntu,先执行以下指令(对于其他Linux发行版,可以参考Git LFS的官方文档。)
sudo apt-get install git-lfs
安装完成后,需要在项目中初始化Git LFS
git lfs install
再执行代码克隆存储库,会自定处理大文件
git clone https://huggingface.co/meta-llama/Llama-2-13b-chat-hf
在执行过程中会显示

这个时候输入huggingface的账号username,然后他会叫输入password,这个时候输入我们创建的token密钥,然后就会自己下载了。
文章来源于互联网:轨迹预测学习——蠢蛋踩雷,如何下载meta-llama/Llama-2-13b-chat-hf
相关推荐: EchoMimic:蚂蚁开源逼真数字人框架,表情口型更生动自然,本地部署包获取
EchoMimic:逼真的音频驱动人像动画 EchoMimic简介 近日蚂蚁开源了一款名为:EchoMimic 数字人的框架。EchoMimic能够通过单独的音频文件和一张静态面部标志点的图像生成数字人像视频,也可以通过音频和选定的面部标志点的组合来生成。 由…
5bei.cn大模型教程网










