【论文速读
Рет қаралды 3,399
Күн бұрын
@jaylenzhang4198 4 ай бұрын
有个问题，博主说LoRA和原来的矩阵没有关系，因为模型的预训练的参数没有被修改。但是Llama adapter我看也是freeze原来预训练模型的参数的，在整个微调过程中，修改的参数也是它提供的可学习的prompt参数吧
@phdvlog2024 4 ай бұрын
llama adapter更深入
@leemichaelh2333 5 ай бұрын
大神你好，第一次留言。有两个问题要请教下：我是在写大论文，想把人工智能相关的加入，我的本业是搞CFD数值模拟某种过流设备，现在研究的主要内容是压力脉动和优化设计，想加入1-2章的人工智能相关的研究内容，但是时间也很紧张，本人编程经验基本为零，但最近使用AI工具也写了一些小代码，想咨询您有什么推荐的研究内容（就是希望论文加入AI的亮点，但是又特别难做）？另外如果推荐1-2个软件，写论文推荐什么AI工具？chatgpt和claude免费版的一直在用。
@phdvlog2024 5 ай бұрын
多问问ChatGPT
@phdvlog2024 5 ай бұрын
要掌握技巧 先问问ChatGPT做什么 然后怎么做 具体怎么做要一步一步问 不然他智商没那么高 答不对
@chenqu773 5 ай бұрын
膜拜大牛
@zxynj 5 ай бұрын
可以给一个讲adapter的视频的链接吗？或者是第几期？谢谢
@phdvlog2024 5 ай бұрын
kzbin.info/www/bejne/iqa5op57nbF8g5I
@zxynj 5 ай бұрын
@@phdvlog2024 谢谢。今天的文章很像几年前的prompt tuning的做法，很高兴看到它被用在了fine tuning llm上😃
@YetEthanOnly 5 ай бұрын
羊駝3.1沒有中文詞表，有人研究過中文詞表有無的利弊嗎？
@phdvlog2024 5 ай бұрын
有会更好一些吧
@anti-g3d 5 ай бұрын
所以到底这个方案能否用4090来做 ，我肯定没有8个A100，但是我不需要一个小时那么快啊，我用一个4090跑3天能出来吗？
@phdvlog2024 5 ай бұрын
估计装不下，你是要微调
@涂竣凱-l3j 5 ай бұрын
discord 無法加入QAQ 備用的連結可以加
@phdvlog2024 5 ай бұрын
加的人太多了 限制了
@ZeTang 5 ай бұрын
discort 给个连接呗 iPhone 识别失败了😂
@phdvlog2024 5 ай бұрын
Discord discord.gg/Tb46m8ye Discord（备用） discord.com/invite/5KnNp2VKFp
@phdvlog2024 5 ай бұрын
KZbin有时候会吞链接，这是很烦的
@謝其宏-p3z 5 ай бұрын
@@phdvlog2024 2rd 成功登陸
@david6851 5 ай бұрын
1 hour 但是用8个a100… 不是 这… lora用不了这么多a100吧 这是个7b小模型啊
@phdvlog2024 5 ай бұрын
还要看微调的数据量 而且a100并不快啊
@anonymous1943 5 ай бұрын
@@phdvlog2024其实lora我感觉想快也快不起来 我当时四个4090也是finetune52k ， DDP deep speed 都试，数据并行 运算并行 各种尝试，不是GPU占有率只能有一半 就是轮番工作
dimerci tv
Рет қаралды 134 МЛН
Grant Sanderson
Рет қаралды 302 М.
Один день
Рет қаралды 402 М.
Snowflake Inc.
Рет қаралды 389 М.
dimerci tv
Рет қаралды 134 МЛН