Llama3.1 8B 使用《史记》七十列传文本数据微调训练，实现现代文翻译至古文，效果还不错! | colab | unsloth | hugging face

Llama3.1 8B 使用《史记》七十列传文本数据微调训练，实现现代文翻译至古文，效果还不错! | colab | unsloth | hugging face | 大模型微调

Рет қаралды 30,969

AI转转转

Күн бұрын

Пікірлер: 63

@GaryWee111 5 ай бұрын

非常详细的步骤，谢谢你的教学！

@ai-spinX3 5 ай бұрын

不客气，非常感谢观看！

@shih-shengchang19 4 ай бұрын

非常詳細的解釋，感謝您的分享。

@larryli3345 6 ай бұрын

非常棒的一个例子！

@MW-qu9ls 5 ай бұрын

有意思，感谢分享

@6612-i5s 5 ай бұрын

牛逼阿老哥

@YCM2H 3 ай бұрын

非常NICE

@AterasMenethill 5 ай бұрын

great job

@user-ih8ku2rb8b 5 ай бұрын

有意思，用幾千年的底蘊重朔現代文學，我覺得有前途！

@forthechanger 6 ай бұрын

结果不错啊

@way2ml 5 ай бұрын

很有意思! 看完之后有一种感觉: 留给人类的时间不多了.

@marcolee1658 Ай бұрын

你不要活了？

@Mekkagravity 5 ай бұрын

也可以做詩，例如幾句現代話，等翻譯成古文後再修一下。不錯且實用的AI

@kaikang958 5 ай бұрын

建議每個樣本多一些句子，可以加強模型上下文能力。

@wyek1n 15 күн бұрын

大佬你好，因为我不是计算机出生的，想请教您一个问题。如果向让这些通用大模型进行预训练，预训练的材料应该是大量的特定领域的书籍，比如大量的中医书籍，但是书籍并不是结构式的文本，我应该用何种方法进行微调/无监督持续性微调/预训练（这三个是一个东西吗？），谢谢解答！

@ai-spinX3 13 күн бұрын

先回答一下你说的微调/无监督持续性微调/预训练，他们不是一件事情。预训练是指训练好了的模型，比如GPT-4。其中GPT的英文就是"Generative Pre-trained Transformer"，其中的“Pre-trained”就是预训练的意思。“微调”是指在预训练模型的基础上去针对领域内知识进一步强化，相当于给一件武器上附魔。“无监督持续性微调”是微调的一种，可以理解为给武器附魔时候一种特殊的手法。这方面的内容很多，我也不是特别熟悉，不过我建议可以阅读一下huggingface的一些资料，可能带来一定启发。链接如下：huggingface.co/learn/nlp-course/zh-CN/chapter0/1?fw=pt

@xaoyei6243 4 ай бұрын

古文能读懂的话还是古文好，言简意赅，留给人很足的想象空间

@ai-spinX3 4 ай бұрын

对，古文有种简洁的美

@好轻对其 5 ай бұрын

建议主播搞一个某一专业领域的汉译英视频

@gozeroteam836 6 ай бұрын

有点意思！

@sheldonchen8933 5 ай бұрын

你好， convert.py可以分享一下吗？~

@ai-spinX3 5 ай бұрын

没问题，我放到这里了 gist.github.com/lanesky/6092906644c36d16ad39df3ac6d623d2

@lee1221ee 5 ай бұрын

請問上傳到 Hugging Face 是必要嗎？能都在本地端？

@ai-spinX3 5 ай бұрын

完全可以。在本地跑要注意两点：一个是本地的机器的性能（CPU，GPU，Memory，磁盘空间这些），另一个是操作系统。unsloth在windows下安装很繁琐，推荐是linux或者wsl。也有unsloth的替代品，但是似乎对windows的支持都不是很友好。

@djicubsoaicn 6 ай бұрын

有意思，本来想用自己的聊天记录和随笔训练个数字化身，但感觉要上传这么多东西就有点不敢了

@timidlove 6 ай бұрын

这个例子充分说明了文本质量文言文 > 白话文>现代汉语>网络汉语

@lawliet357 6 ай бұрын

😂

@shiyiyuan6318 6 ай бұрын

老祖宗其实是最善于抽象的，很简单的几句诗，能表达很丰富的内容，白话文，更适合扫盲，但是文字就多了

@soridnix1610 5 ай бұрын

有道理😀

@MW-qu9ls 5 ай бұрын

文言文确实精炼，不过会丢失内容，白话文啰嗦，好处是可以尽可能的描述，如果先人愿意用白话文把历史啰嗦一遍，后人很多事情也不用交叉比对冥思苦想了

@gl1981cn 2 ай бұрын

1.古代不是谁都有条件能书写。2.能流传几千年的都是精华。

@gavinren2809 4 ай бұрын

执行到第二个代码片段的时候一直报错，就是这行报错from unsloth import FastLanguageModel

@ai-spinX3 4 ай бұрын

有可能是unsloath更新了他们的代码。你可以到unsloath的github网站上，试试他们最新的colab。

@shrektan6460 6 ай бұрын

挺好的。但是建议视频语言再精简点。我两倍速感觉和正常说话速度似的😂

@ai-spinX3 6 ай бұрын

很好的建议，谢谢！

@kwingwingchan7540 6 ай бұрын

这速度刚好，你只听乐子，自己调2倍速，有人要跟着实操，太快跟不上的

@jamesbong5070 3 ай бұрын

这样可以看马王堆帛书《道德经》吗？现在太多解读，想看看 Ai 版本的。😂

@ai-spinX3 3 ай бұрын

你说的这种情况感觉是从从古文到现代文的翻译。这样的话，一般市面上的AI应该也是能做到的

@tfccheng 4 ай бұрын

我看见有些字UTF-8显示乱码。会影响训练吗？跟copilot比较一下。

@ai-spinX3 4 ай бұрын

是训练数据里面吗？那有可能受到影响。

@junzhang-f5r 5 ай бұрын

文本怎么转数据集？有工具吗？

@ai-spinX3 5 ай бұрын

我写了个convert.py脚本，供参考。链接在视频描述里面了。

@bugtan7909 6 ай бұрын

llama3.1哪个版本的需要多少显存微调

@ai-spinX3 6 ай бұрын

8b版本，你可以看视频描述里面的colab的链接，里面有训练使用的版本，还有训练前后的资源对比

@jianwang2011 4 ай бұрын

数据集整理的脚步放出来吧，很有用，谢谢

@ai-spinX3 4 ай бұрын

不客气！脚本的Link（"生成训练数据集时所使用的convert.py"）放在视频描述里面了。

@RoaldsXean 4 ай бұрын

LM无法配置到网络，这是怎么回事呢？

@ai-spinX3 4 ай бұрын

是指LM Studio搜索不到模型吗？

@RoaldsXean 4 ай бұрын

@@ai-spinX3 是的，搜索时候显示error

@ai-spinX3 4 ай бұрын

是不是所有的hugging face上的模型都搜索不到？如果是这样的话，有可能是因为您的网络环境受限，不能通过LM Studio连接到hugging face上。

@RoaldsXean 4 ай бұрын

@@ai-spinX3 你这么说的话应该是的，那这个有什么解决方案呢

@ai-spinX3 4 ай бұрын

您可以参考下面两篇文章。我都没有尝试过，仅供参考！ - 这篇是github上的，关于直接把hugging face上下载的文件放在本地文件夹里面。 github.com/lmstudio-ai/configs/issues/11#issuecomment-1902602501 - 这篇是CSDN上，可能和您的情况类似。 blog.csdn.net/robinfoxnan/article/details/139336901