نموذج علام اللغوي | ALLaM | نظــرة أعمق

في هذا الفيديو, نستكشف سوياً تجربة بناء النموذج اللغوي (علام) المقدم من الهيئة السعودية للبيانات و الذكاء الاصطناعي في السعودية.
من خلال الورقة البحثية, نستكشف سوياً مراحل استكشاف المشكلة, وصولاً الى انشاء مجموعة النماذج اللغوية بكافة أنواعها.
03:30 from scratch or not
06:00 How does tokenizer work
08:51 LLaMA2 tokenizer
10:43 Fertility Rate
12:39 How can we expand the vocabulary
14:43 The ColossalAI Experiment
16:45 MMLU Datasets and the translation issues
22:00 How pre-train data were prepared
25:19 The pile dataset
25:50 Collecting Arabic Dataset
26:50 How to qualify the collected data
28:23 The datatrove project
29:40 The CosmoPedia Dataset
30:45 The machine-translated dataset
32:45 How to evaluate data ratios
34:50 Mixed Data Ratios
36:00 Continued Pretraining
37:30 Expanded vocabularies training
40:00 Continued Pretraining Hyperparameters
44:00 Train from scratch
44:20 Training on multiple stages
45:30 The cross-lingual transfer phenomena
48:30 Why do we need large batches
51:00 GPU Infrastructure
54:50 From base-model to instructions-tuned
56:40 The Ultra-Instinct dataset
01:00:01 The instructions-tuned model hyperparameters
01:04:00 Why do we need an additional finetuning step
01:07:00 Preference Training
01:07:50 DPO
01:11:00 On-Policy and Off-Policy Negative Sampling
01:13:00 DPO Data Augmentation
01:15:40 Learning Rates and Data Sizes
01:18:20 How many evaluation shots do you need
01:27:00 Human Evaluation Vs. Automated Evaluation
01:28:00 LMSys Arena
01:32:00 Why do we need to develop our evaluation
01:33:50 Conclusion

[@mahmoudal.faress7832]

جزاك الله كل خير وبارك الله بعلمك، فعلاً محتوى أكثر من رائع ومن أفضل الفيديوهات التي حضرتها بحياتي والتي تطرقت فيه لبحث بهذا التعقيد وأسهبت بالشرح وقدمت فيه روابط وأفكار خارجية تساعد الأخرين للاستزادة الفيدو مدته ساعة ونصف ولكنه قد احتصر على أخرين شهر ونصف من القراءة والبحث

[@wesamkhallaf]

انت تقدم محتوي عربي رائع غير موجود كثيرا في هذا المجال وباسلوب مميز احييك عليه

[@moustafabayommy409]

ما شاء الله جزاكم الله خيرا وزادكم من فضله

[@Qwme5]

شكرا جزيلا من اعماق قلبي ، انا كنت طالب دكتوراة ولم اكمل واعرف جيدا قيمة ما تقدم و سبحان الله جاء هذا المقطع وانا افكر اني اشارك في تحدي علام ، انا لسه ما كملت الفيديو ولكن والله البداية مشرفة وانت مثال مشرف للباحث العربي المتعلم ، واسلوب جميل في شرح الورقة العلمية والتفاصيل المهمة . متابع قناتك باهتمام وحرام والله ما عندك مشاهدين ودعم. ربنا يفتح عليك ونشوفك في أعلى المراكز يارب

[@bakrianoo]

@@Qwme5 شكرا جدا على كلماتك الجميلة. و اتمنى لك التوفيق و الخير دوما 🙏

[@hindraheemalmayyali3072]

ممكن اتواصل مع حظرتك ؟؟

[@محمدالميداوي]

والله تحية لإخواننا المصريين أفضل من يشرح المفاهيم العلمية بالعربية، شاهدت كثيرا من الفيديوهات الأجنبية ولم أفهم كما فهمت منك أخوك من المغرب.

[@bakrianoo]

@@محمدالميداوي تحياتنا لأهل المغرب الغالي

[@hashimosmanmusa8715]

طريقة الشرح وجودة المحتوى شئ في قمة الجمال جزاك الله كل خير

[@YounesSaouabeddine]

بارك الله فيك وأحسن اليك، سبق وشاهدت مقطع الtransformer و Jais وكذا سلسلة الmini-rag ، صراحة محتوى من الطراز العالي و نحن في أمس الحاجة للمزيد ان شاء الله، أعانك الله أخي ابو بكر. أخوكم من المغرب.

[@mohamedyassinch6016]

عاش بالتوفيق

[@mohamedmaf]

جزاكم الله خيرا ❤❤

[@professorgamer2084]

محتوى نادر وذو جودة عالية ... يعطيك العافية

[@sultanovic7123]

شكرا لك على المقطع والشرح وياليت تكون اوبن سورس صراحة النتيجة مرضية بالنظر لكمية المعضلات .

[@nancyboukamel442]

you are amazing :) greetings from lebanon

[@MohamedAliFarag-oz8do]

عاش يا بكر ، ربنا يزيدك علماً وحلماً. 😍

[@dabody123456]

بارك الله فيك و رحم الله والديك و زادك من كل علم نافع، شكرا على الفيديو شكرا يا بشمهندس أبو بكر

[@mohamedhatem325]

شكرا يا أبو بكر على الفيديو ده .... معلومات رائعة ربنا يجعلها فى ميزان حسناتك

[@eslamnaser4904]

الله،فخورين بيك ❤

[@obh-m6fobh]

جزاك الله كل خير ، محتوى قيم جداً

[@fertgoer7257]

شكرا لك على الفيديو القيم والغني اقترح عليك فيديو يتحدث عن مشكلة شح البيانات العربية وسبل زيادتها

[@msharno]

محتوى عظيم والله. ربنا يبارك فيك

[@AasemSaid]

ماشاء الله ربنا يزيدك يارب ويعلمنا جميعا

[@RaslanAbuzant]

جزاك الله كل خير - معلومات رائعة

[@kareemdesouky3603]

جميل جدا يا ابو بكر ربنا يكرمك يا صديقي ❤

[@shhada80]

جزاك الله عللى هذا الشرح المستفيض وعلى المعلومات القيمة المنثورة في ثنايا هذا الشرح، وكنا نتمنى لو كان هنالك نسخة منشورة للجميع ليتم التجريب عليها والحكم على النموذج بالتجارب الواقعية من خلال هذا الفيديو أو من خلال تجارب المستخدمين، فتبقى التجربة خير برهان.. أكرر شكري العميق لك على مجهوداتك الجبارة في الفيديوهات الفريدة التي تقدمها، والتي دوماً ما تزودنا بمعلومات جديدة لم نكن نعرفها، فنسأل الله تعالى أن يجعلها في ميزان حسناتك

[@mohamedajamy]

شكرا لك شرح مفصل وجميل

[@asmaamahmoud7465]

جزاك الله خيرا يا بشمهندس

[@adnenchouibi7945]

Bravo 👏👏👏

[@mekkiahmedi]

في هذا النموذج الذي بني على لغتين انجلبزي عربي، بنسبة تكاد تكون متساوية يكون هنالك خطر التحيز،حيث ان الابحاث العلمية باللغة العربية تكاد تكون معدومة

[@haithamaliryan]

ما شاء الله ، شرح جميل ورائع ، سؤالي : من هم الأشخاص الذين تنصح بمتابعتهم على كل وسائل التواصل

[@justcars2454]

جميل، كون هناك مراكز عربية ل الذكاء الاصطناعي.

[@abdallahaliabdallah6394]

من قلبي - بارك الله فيك و زادك من كل علم نافع، شكرا على الفيديوهات الرائعة باللغة العربية الي نادرا ما الواحد بيلاقي زيها في مجال متخصص زي الـ LLM كمل على نفس النهج و الطريق - واستأذنك لو تقدر تعمل مقارنة عملية بين النماذج الي بتدعم اللغة العربية وتحطها في مقارنة مع حاجة زي command-r / command-r-plus / qwen2 (9b/72b) أنا حاليا شغال على بحث متعلق للـ LLM / RAG وحتى اللحظة دول أفضل ٣ نماذج بقدرة ممتازة على معالجة و ترجمة النصوص و التفكير المنطقي بشكل عام، فهل في بديل عربي ليه نفس القدرات؟ بردو هل عندك ترشيح لاي نموذج قوي تحت 70b يقدر يعالج النصوص العربية غير المذكورين فوق؟

[@HazemAzim]

رائع

[@unknown-ie3ik]

راااائع

[@RogayaAdamElzinSalim]

wounderfull

[@drmostafamahammad]

اتوقع استعمال محلل صرفي للتقطيع هيرفع الجودة..

[@omaral-halabiah2851]

جزاك الله خيراً عندي استفسار: لماذا لا يكون هناك models مخصصة لأمر محدد كأن يكون لدينا Model مدرب على أن يعطي أكواد بايثون و model مدرب على أن يعطي مقالات , ألن يكون هذه models أدق بالنتيجة ؟

[@mohammedabdalmajed3914]

هناك بالفعل

[@muchmore777]

It's a problem with the model in training and embedding a lot led to pressure to adapt

[@katebalbalawi890]

كانت بتسبورت ؟؟؟ ياخي كانت تدعم،، تكلم عربي او انجليزي لا تخلط

[@heeemo2026]

يعني سبت الفيديو كله ولزقت في ذي؟

[@أمديعماد]

المصريين كلهم هيج

[@khaledalmundi1990]

Please, I need to contact you, but couldn’t find a way to do so. If you can provide me with your email so I can send info there. Best regards 🙏🏼