8 ай бұрын
8 ай бұрын
10 ай бұрын
11 ай бұрын
11 ай бұрын
Жыл бұрын
Жыл бұрын
Пікірлер
@chensonglin731 5 сағат бұрын
哪有ppt文件
@whiskyhot886 Күн бұрын
感恩教學❤分享
@cryptoinside8814 2 күн бұрын
Instead of Sigmoid, can you use sine and cosine functions, i.e., in Fourier Transform...any curve is the aggregation of sine/cosine functions at different frequencies and amplitudes.
@cryptoinside8814 2 күн бұрын
It's like Fourier Transform. Given a random curve, what are the frequency components of this curve.
@cryptoinside8814 2 күн бұрын
You may want to explain that the reason w1=w0 minus (Etha*slope) is because the slope is negative, so you obtain a greater positive number as w1 is bigger than w0.
@cryptoinside8814 2 күн бұрын
On the "Optimization" slide....aren't you just looking for Loss L to as close to zero as possible ?....why bother looking for slope ? You are just looking for the lowest Loss L. Oh, I see...you are just selecting what "w" to calculate along the way. The curve you used seemed to indicate you've already calculated the Loss L results. I think you should not draw the whole curve at the beginning. A better way to do this is to show that game where you roll up a piece of paper and you are following a drawn path as you unroll the paper....you don't know what's ahead...so basically you are looking at the slope at each point and decide how far (learning rate) to go on the next point...that's why the slope is important. Showing the whole curve at the beginning is the wrong way to show this clearly.
@nowabmuhammadjubair3061 3 күн бұрын
Bro literally said meta learn mandarin before learning meta learning 💀
@cryptoinside8814 3 күн бұрын
Wow...isn't this Fourier Transform to see what the wave function is comprised of what frequencies ?
@ttyytt1746 5 күн бұрын
除夕簽到 老師真的好神😍
@dent1808 5 күн бұрын
請問老師能講 Deepseek嗎？
@llliiill2765 5 күн бұрын
到底誰除夕還在看機器學習
@BenWu-lh1mj 6 күн бұрын
老师 讲一下deepseek吧
@nicholassooen 12 күн бұрын
这引入深度学习概念的方式，真实拍案叫绝！“一个织席贩履的改个名叫中山靖王之后--论外号的重要性”，真实好笑。
@yangxu9202 12 күн бұрын
想问下，最后说的那个公式为什么要加min函数用两项呢，直接用第二项带 epsion 的优化可以么
@KleinMelanieF 13 күн бұрын
精彩的课程 清晰得令人发指
@sallyxv 13 күн бұрын
寒假认真学一下！！！！
@yanjingle 13 күн бұрын
李老师讲的真好，非常感谢分享！😀
@Sue-w8o 13 күн бұрын
老师的视频有一个特点，第一遍听的时候可能听的云里雾里的觉得没讲什么就结束了，认真思考了之后再重新听一边，就会发现老师很多时候说的每一句话都有很深的理解，自己也理解了之后会有特别多的收获
@edwardqin7618 13 күн бұрын
lee老师讲的太好啦 每个点都知其然并知其所以然 膜拜
@王証彥-n8r 21 күн бұрын
好棒~~我好喜歡這個老師~
@谢胡桃 22 күн бұрын
看这个还是21的？感觉21的知识点和名词啥的有点杂。
@colors8235 28 күн бұрын
我以為黑箱攻擊那邊會放藍染的黑棺 xd
@sakcee 28 күн бұрын
@Hung-yiLee would you consider giving lectures in English so that others can benefit too
@krisspy-39 29 күн бұрын
attracted by the cover, is it clickbait 🤣
@JIYO-m1m Ай бұрын
這課程的 水準我只能說驚為天人, 一個若干年前台大畢業的學生 到此一遊
@rileylee2866 Ай бұрын
really enjoying the course, although I am not doing NLP/LLM related work for now, but I believe my passion will finally bring me to such a job role
@rileylee2866 Ай бұрын
it's a very interesting system, it simulates stimulations from surrounding objects and peoples, and agents are responding to them accordingly
@chiahungmou7351 Ай бұрын
我到底看了什麼，這教學太優美了
@吴智宇的循证育儿频道 Ай бұрын
感恩
@catlazy-v7m Ай бұрын
原来Adam是这样来的，之前用过好几次但不知道原理，老师讲的真好！
@taco3671 Ай бұрын
雖然已經是幾個月前的影片，但是好喜歡老師的上課方式，非常有邏輯性的教法，重點很有趣耶!!都不會想睡覺
@jefferychen9514 Ай бұрын
这个地方我听得一头雾水，有时感觉又是反的。其实我觉得可以把原始向量先顺时针转，然后对x轴镜像，然后再逆时针转回去相同角度。那么这三次运算的矩阵相乘，就是这里的T
@catlazy-v7m Ай бұрын
讲的太棒了，神仙课程，感谢老师
@jefferychen9514 Ай бұрын
B是不是V的basis，我觉得你少了一步 就是B的每一个向量必须是在V里面。然后是他们的维度相同，才能说明B是V的basis。
@jefferychen9514 Ай бұрын
为什么我总觉得，这里有错误。
@janchangchou777 Ай бұрын
Part 4) 許多專業領域的AI 很早就開始做了，而且做的很好很成功。 目前台面上的AI , 是指生成式AI（ 時間序列高度相關的）， 這是兩碼事。 AI 別隨著美國起舞，無論方法上及方向上，目前台面上這些以資工leading 生成式AI 的美國AI 發展已完全走偏撞大牆了。 目前以資工leading 生成式AI , 這群碼農也太批蛋了。 1） 利用40年前已完善的數理統計（ 㢠歸分析及時間序列高度相關變數的自迥歸分析。 ） 2） 包裝𠆤高大上的類人類神經網路的偷盜慨念。3） 藉由半導體科技的算力。 完全沒有任何創新的欺世盜名妥妥的碼農（ 程序員）居然能拿諾貝尔物理奬。 物理學家/ 數學家您們睡著了嗎？！居然能容忍這等離譜偷盜者的獲奬。 另外我以前一些同學，現仍在美國Google 參與相關大模型工作，拈他們告知我的小道未經證實的消息。 1） Google 在這方面付了大筆的學費。 2） Google 養了全世界各產業領域的頂流專家， 特別是語言學家，參與相關建模。 3） OPen AI 及近期獲諾奬的加拿大教授， 這師徒們，從Google 弄走了不少錢。 最後Google 看穿了，不得不將Open AI 這些人從Google 割出去。 而李非非近期也搞𠆤digital cousin 數字表親， 根本就是小樣品摸擬實驗： 這也不是什麼新方法和新手段。 在數理統計中40 年前早就有的手段。 這些碼農一而再再而三的把數理統計的成熟手段，拿來搞什麼AI 新技術。並給𠆤新名詞進而宣稱是創新，太扯蛋了！ 我在40 年前的博士論文就是在 針對小様品試驗進行電腦模擬試驗。如核爆/ 飛機失事等等，在現實情況下很多領域只能取得非常有限的小様品數據，因此針對這些小樣品試驗我們就會引入模擬試驗的手段和方法， 並進而利用這些電腦模擬數據，最終做出穩定可靠的預測模型。 nature 有關AI 近期訊息： kzbin.info/www/bejne/oaGZlpyvh6d5oq8si=2sKWhTVx3qecNvJ4 這𠆤問題很容易理解。 當我們的需求是專業有限變數的問題， 如股票決策/ 海洋及気象動力/ 無人架駛/ 化學工程/ 土木工程/ 等等，許多專業的有限變數， 這些已建立完成很長一段時間模型的精準度非常高。 而大語言模型想要用海量變數去涵蓋這些專業模式，其自然的結果就是錯誤率極高。 也就是說針對專業有限變數模型，那些大語言模型的99% 變數不旦是垃圾， 還是有毒害的垃圾。 因此使用AI 一定要知道什麼問題什麼場景使用什麼模型。 kzbin.info/www/bejne/rHiTYmaejKaNrcUsi=NDA12ZYY4hCIg_C5 kzbin.info/www/bejne/jpfJdXiuiL58haMsi=4OZ7WUrlQRCcw-KP AI 發展的3 大組成； 各產業領域的專家，建模數理理論，算力編程的提供及組織。 這就是我早就預見 如果由算力或資訊工程來主導AI ，外行領導內行，將會走的很偏很快撞牆 再看看這一報導，今天的結果，在我今年（2024 ）初的part 1) 2) 3) , 先前的論述中都精準的表達過。 kzbin.info/www/bejne/pZvRlZ-Dr6yNkM0si=wuEqsPUOzxuPrcRR 目前（2024-10 月）生成式大模型 AI 的發展基本撞牆了。 由 資工主導的必然性- 泡沫化， 已確定了。 因為以上三份報告都是非常權威的。 再看看這份報告：弄出人命了！ 陪聊AI 沒有心理咨詢醫生做專業恊助/ 溝通/ 警示/ 防範等等， 由碼農直接單幹，太多的心理專業知識手段應對都沒有投入，是造成這事件背後的主因！ kzbin.info/www/bejne/r3-9pHZtr9uHndksi=_RK7ZM6Xaa_oQn7E 這就是我在個人相關分享中 part 3) 談及的； AI的健康發展是以各領域專業專家組為主導，數理統計為核心，編程及算力只是工具，否則用提供算力及工具的這些人來leading AI 發展，會形成外行領導内行，並為AI 發展種下低效偏差甚至高風險的發展。 譬如新藥開發/氣象預報/各種不同語言等等都是以領域專家為核心，否則就亂套了。 更可行的作法， 各國加緊立法，用國家特准许可的方式，來認證並核准各領域不同應用AI 的開發許可及成效認證，譬如目前自動駕駛這領域，不能僅憑廠家自行認證，必需由國家相關單位認證，納入國家法規制約。其實其他領域也應該如此，即便服務大眾的生成式大模型也要納入規範管理，絕對不能任由AI 公司自行任意發佈，一個小電器產品都需有関認證，才能上市銷售，目前AI 大模型實在是太無序了，AI 公司任意上市推出由市場決定其優劣，客戶當白老鼠，完全沒有任何管理約束機制。 任何AI 應用開發的公司，必須有相關該應用領域專業專家為主導，及數理統計的人員的參與，如果沒有通過這些人員資質審核要求的公司或團隊，一律不得從事AI 開發及應用工作。否則視為違法。如同醫師證照，沒證照的醫師坐診，診所如何能執業？！ 建立政府職能的審核監管制度，才能防止並追蹤AI 的錯誤使用/ 違規使用/違法使用， 也進而能排除人們對AI 發展造成危害人類的擔憂。 再看看下面報導： kzbin.info/www/bejne/ioPbin6fmdaMbqcsi=ukFmC8XGPa17d6It kzbin.info/www/bejne/o4nPknSqpJakrpIsi=B_gy3Uq8JXOM2NF8 kzbin.info/www/bejne/q4G9Xpived6iaqMsi=AL1EkqW7uM1EhpQh AGI 基本就是建立一套從千萬上億 由領域產業專家建立的專業小模型進行徵用的智能機制（藉由針對使用者一些基本需求的梳理，形成分門別類確立問題的機制）不能一昧的用大模式（發散式包攬所有）。 其實人類的思維也是如此，先確定問題是屬於那𠆤範籌，再從我們的大腦內調出已確認範籌的相關知識及經驗進而進行各種響應。 生成式大模型，只適用於sequences 高度相關的時間序列資料分析。 如語言文字前後字文分析，圖像點分析或是語音樂律分析等等。不可盲目外延。
@janchangchou777 Ай бұрын
Part 1): 任何一條神經網路也是一個多變數廻歸分析，也是統計學迴歸分析的一環。我在40年前攻讀數理統計就涉及這些人工智能及多變量（含時間變量）的廻歸分析（向量/ 矩陣/ 線性代數/ 機率/ 取様….）, 以便對一些事件做出精准智能的預測。 所謂自我學習或機器學習也只是用後面收集或模擬出的更新的資料去修正原先迥歸分析的杈重或係數參數而已。 而深度學習也只是處理巨量變數時，為了避免僅用單層機器學習進行巨量變數而需要解大矩陣導致對巨量平行計算的需求，進而變換設計成每層適量變數，建立多層次的機器學習修正。 40 年前人工智慧就是數理統計的一大課題。馬斯克說得一點都沒錯-目前的人工智慧全部建立在數理統計的基礎上。從那時開始就不斷有各行各業的數據分析專業人士來我們數理統計這參與並學習迥歸分析。他們回去後就不斷建立了屬於他們行業內的多條神經網絡（行業內的迥歸模型）。 在那時從事這類研究工作的數理統計的博士生全部被限制在晚上12 時過後才能使用國家級的超級計算機，否則我們兩三𠆤人一上線全部就大當機。我們那時也發展出一套類似挖礦機的方式，利用所有大量閒置的𠆤人電腦來提供其微小的算力，進而整合這些龐大的所謂分散型算力，但受限那時網路的不發達，很難把規模擴大。 近幾十年隨計算機能力不斷提升，目前市面AI 所謂大模型，主要是著力於面對”服務大衆需要”的所謂生成式/ 語言等等的智能協作服務。就是把百行百業各個領域等等數以千萬千億計資料進行迥歸模型的建立及修正（所謂自我深度學習）而形成龐大的神經網絡。 因此也不用太誇大眼下的AI , 這些早在40 年以前都已建構了理論基礎，而智能恊作早在各專業領域都已發展的非常完善，只是因過去算力不足只能在各自專業領域進行中小規模（變量數較少）的神經網絡建構。例如氣象預報就是早期最明顯的利用氣象專用超高速大電腦發展為成熟預測能力（AI)的例子，股票買賣決策也是智能恊作(AI/CIC)的典型。 ”把簡單數學上使用即存的規模資料或電腦模擬資料進行所謂的㢠歸分析/模型建構並藉此模型做可行的智能預判或恊作，包裝成醫學上複雜尚未完全掌握的神經網路的機制及作用原理”，不但瓢竊了數理統計在AI 發展的絕對地位，實在也是在誤導整𠆤AI 的發展。也會造成眼下一般人的過度期待和焦慮。應將AI 改稱作” CIC:Computer Intelligent Collaboration , 電腦智能恊作， 更為恰當。 何謂知識？ 由經驗總結後（ 抽象具體化） ，就形成知識（用數字分析的表達方式就是去建構知識模型）。 形成知識後就可複製/ 傳承/ 預測/ 擴展。因此目前的AI 發展，就是在循人類文明發展至為重要的其中的一𠆤過程-只是採用了數位化的方式，將經驗知識化了。 目前的AI 只是以數理統計為手段及方法論，以資訊及計算機工程為工具，進行數位型的經驗知識化的過程。 人類有許多其他不同型態非常複雜的智慧，這種僅止於知識數位化的智慧， 其實離人類多型態的智慧還有非常巨大的距離。 另外， 眼下AI 服務於大衆的大模型的各種數學理論及所謂的機器學習（參數修正）及深度學習（參數及變數的多層次增加及修正）。 早在40 年前相應的數學理論都已完備（但落實到實際應用上，如何解1 億 by 1 億的聯立方程組( 行列式計算）， 這需要極其龐大的平行計算能力，在那時期是完全不可能的） 。 其實AI 最重要最關鍵的是各行各業各領域的專家組，而不是這些AI 編程的公司（ 他們只是依需求用已完善的數學統計理論加以電腦編程後，利用巨大算力去幫忙找出合適的模型並不斷予以完善）。 只有各行各業各領域的專家組才知道在茫茫大海中的資料及訊息中，那些因素才是其所涉領域的関鍵變數，那些變數資料才是可做為他們收集分析建立模型的。例如氣象學/經濟學/股票買賣智能決策/ 醫學/ 藥學/ 農業生產/ 基因工程/ 化學工程/自動駕駛/飛彈防空系統/圖像識別及處理/ 建築結構力學/小樣品模擬模型（核爆/飛機失事）………..等等。 此外服務大衆的語言學也是極度複雜的一門學課，其可能的變量變因會高達幾千萬𠆤， 再加上多層級過濾學習修正的模式，因此其涉及的變數算力就以億計， 所以才稱做大模型。 要取那些因素進行那一層分析，主要都是語言學家在主導。 而這些眼下的AI 應用的公司， 只是利用已發展完備的數學統計理論在不同領域專家組的指導下，去有效的進行數拈收集整理分析並進而建立一個特定領域的模型，作為該特定領域的電腦智能恊作工具。
@janchangchou777 Ай бұрын
Part 2): 另外面對服務大衆的生成式服務，也是要面對大衆各種不同的需求，因此其所需處理消化的資料也是天文數字的龐大，也要各行各業領域專家介入協助指導進而形成並建立大模型。 其實生成式AI 可以理解成升級版的超級搜索引擎，傳統的搜索引擎，用関鍵字/詞，從數據庫內匹配/找出並羅列出可能所需資訊，現在進步升級到如果你給出更具體規範的需求，系統就能從數據庫內拼湊出並提供更完整的接近最終需求的服務內容。這只是把過往已存在的數據庫（已長年經各行業領域專家組維護並梳理過的）更完善的整理優化後予以呈現。而這𠆤更完善的過程使用了大量多層次的統計數字分析的手段。 ****主要在處理序列性高度相關的語言陳述序列，圖像高度相關的像素點関係以及音樂弦律的序列呈現。 相應數理統計的手段主要是使用高度相関的時間序列分析自㢠歸建模。 把這個完善化的過程誇大的比擬成人類的思考及智慧（其誇大的目的-圈錢），將造成極大的誤導。 其實生成式大模型（語言/ 圖像/ 音樂等時間序列高度相關資料）所建立的預測模型， 就是用即存服務於大衆的大型搜索的資料庫，如google ， Bing 等等，以數理統計的時間序列分析為核心，結合資訊工程及硬體工程為工具，而進行更貼切於使用者需求的優化過程和結果。所以生成式大模型最終會回到過往提供搜索服務的大型公司的對決。 因此CIC 或是AI 是以特定領域專家組為主導，數理統計為核心，資訊工程及硬體工程都是配合的工具而已。 這樣的發展才會健康/ 不浪費/ 高效率/ 高精確度。 但目前的發展方式， 以資訊工程及硬體工程來主導開發服務大衆的大模型，只是因為這方面天文級別的龐大算力需大資本投入，這是一𠆤比較理想的快速盈利回報的營運方式，但這種情況就會造成眼下嚴重的誤導及錯誤的認知，沒有效率及喪失精準度，甚至如當下出現諸多以提供算力及編程服務的所謂AI 公司出面圈錢的亂象。 其實眼下的蓬勃發展是假象。 不管怎麽發展，從事這𠆤領域研究工作的人不能不具備相關數理統計的知識，也不能缺少專家組對資料的專業的選定/收集/整理。而資訊程序員和電腦只是工具。特別在早期各專業領域內的中小模型的智能發展和恊作，編程只是工具。但當算力上來後，服務大眾的類搜索引擎的生成式及語言大模型，就變得可行了， 但不管怎樣可行，仍是以數理統計為核心，更龐大的專家組仍是關鍵。 只是這種大模型下算力變成稀缺的主要投資成本， 使得這些編程及硬體人員不得不高舉這𠆤旗幟來圈錢， 如果這些編程及硬體人員拿不出這些算力（如果由國家直接投資），他們在整個AI(CIC) 的發展上，根本算不上什麼角色。但這一輪由算力提供方來主導的AI 發展，將會走得很偏，而且會很快撞牆。 這些搞編程所謂AI 專家，其看待事物的内容實在令人啼笑皆非。 譬如： 看到報導某AI 頂流科學家，其模型在AI 大賽中，以16%失誤率， 遠勝於另 一AI 大佬的23% 失誤率，而得到冠軍。 a)殊不知數理統計迥歸分析的誤差要求是5% 甚至到3% ， 一個誤差率高達16% 的模型，居然可以拿出來比賽甚至取得冠軍， 真不知這羣頂流AI 的外星兼外行的科學家在玩什麼遊戲？！ b)人類智慧的誤失率基本都趨近於零。 任何事務的成果，都不是線性的。 這群AI 科學家居然誤導性的告知世人，宣稱他們現在誤差率已達16 % ， 他們離成功不遠了。 殊不知任何人學習或做事務的成果，達到90 分是很容易的，只要多付出就可輕易達成，但90-100 分，那完全不是和努力付出成正比的，那是和天份及其他綜合因素有関，90 分後要再成長其難度是巨大非線性的。 人工智慧的誤失率16% 要成長到 人類智慧的0% 誤失率，給其500 年都難以達到。 另外所謂AI的算力，也多被這些台面上資訊及硬體公司給神話了，整𠆤AI 主要算力在解大矩陣行列式或進行矩陣相乘。 也就是同時或儘量同時計算（平行計算） y 千萬組的 y千萬𠆤數的連乘積或是乘積和。 極其簡單（小學算術程度）但體量龐大的加減乘除。 無任何高深複雜的計算。 GPU 可以當做兼為AI 算力工具，但是GPU 如果僅專用在AI 上，則已是超規格。 因此微軟搞出了這種純滿足AI 小學暴力算術晶片, 或是Tesla 的針對矩陣暴力運算的NPU 。英偉達的GPU一定要小心了，GPU 涵蓋應用面遠大於AI , 如果僅用於AI 算力工作，則晶片設計可採用其他非常簡化有效率的方式，而且成本便宜很多。 未來可能的發展模式： 1） 資訊及硬體工程提供集中算力設備及模型編程的開放平台，供各領域的專家組使用。 有點像當下晶片產業，各應用領域產業由專家組組成公司後，進行各領域的智能開發和應用（如晶片應用的design house，聯發科，海思等 ) , 而算力的提供及收費則由資訊及硬體工程提供（這需要密集资本投入，甚至國家力量投入，如台積電）。 2） 由於網路的高度發展， 另外一種提供龐大算力的方式，是由巨量萬家萬戶閒置PC 𠆤人電腦，各類雲,工作站甚至各𠆤大模型參與分散型算力的提供，恊作，整合，這也是需由資訊及硬體工程來實現的。
@janchangchou777 Ай бұрын
Part 3) 另外希能進一步說明為何這一輪由算力提供方來主導的AI 發展，將會走得很偏，而且會很快撞牆？ 除在Part 2) 談及眼前這些所謂台面頂流AI 專家或團隊，粘粘自喜於眼前所謂模型誤失率16% ， 殊不知在很多專業領域，16% 的誤失率，那可能帶來災難（ 金錢損失， 人員傷亡， 大自然破壞） ！ 例如，自動駕駛，氣象預報，股票期貨買賣決策等等。即便生成式模型，其誤失也可能帶給人們直接或間接的損失或傷害。 若不是由領域產業專家參與並主導的建模，要突破10% 誤失率，是極其困難的。 我說𠆤故事（不是在炫耀自己的賭技），大家也就明白領域產業專家的重要性。 我2000 年在香港公司上班， 每兩周回深圳家一趟， 每雙周末回深圳前，我會帶2 萬港幣去澳門葡京玩輪盤，每回我嬴到10 萬就走人，由珠海回深圳， 我次次去次次嬴，從沒輸過。 這就是有專業領域人員恊助的建模，誤失率很低，回報很高（投入少收益高）。 機率論是認為發生機率的事件是背後有些不明的隱變數，如果把這些隱變數儘可能的説明白，讓機率性的發生現象就會變得越來越小。 簡單的說，一個銅板正反面，前十次都開正面，第十一次開正還是反，數學家據於機率論的真蒂，告訴你一定開正面。因為從前十次已看出存在開出正面的未知隱變量。但一般人仍會認為正反各一半機率，甚至有人會錯誤認為連開那麽多次正面，這次肯定會開反面。 我玩輪盤下注前，一定會找現場的賭友看一下他們記錄卡上先前及近期是否有某𠆤特定數字常開出，若沒有，我會忍住不下注。一旦出現連續常開數字，我就立刻下注押這常開數字，以及輪盤面靠這數字左右各兩組數字，共5𠆤數字， 基本中率非常高， 可達到20% 押中率， 20% x35（賠率）/ 5( 押注數）, 我每玩五次總投入是25 中一次賠35。 賺10 。 基本上2-4 小時達標10 萬港幣走人。 1）其實在現場賭友記錄卡上先前中球的數字就是領域產業專家去掌握數據的過程。 2） 我會解讀機率論，因此也是玩輪盤的專家。 因此我玩輪盤，就是具專業知識參與的領域產業專家， 另外我的投注策略，就是我建的模。 而眼前台面以算力為主導的AI專家，因為他們手上握有大量的算力籌碼，因此他們是次次都36 𠆤號碼全押， 所以次次都中， 但是每次總輸一𠆤籌碼。 這種暴力的押法， 就是沒有引入產業專家的結果。大量浪費算力在無味的押注上。基本上不是大力出奇蹟， 而是大力出爛成績。 另外眼前生成式大模型，最大的資料來源是取自提供搜索引擎服務的大型公司的資料庫。 而這些資料庫的data base 早已經過各行各業領域產業專家幾十年投入，進行維護梳理，並進行了多維度的數位標記。 因此目前生成式大模型真正的主要貢獻者是，各行各業領域產業專家幾十年的投入，進行維護梳理，並進行了多維度的數位標記。 所以缺乏產業領域專家主導，而由算力提供方來主導的AI 發展，可預見的是將會走得很偏，而且會很快撞牆! AI 的良性發展， 不是靠蠻力的大力出的爛成績。（把算力浪費在一些関聯性不高的變數上，不當不專業的取定變數） 而是要靠產業專家的巧力進而形成的大力出的好成績（奇蹟）。 Nature刊发最新研究 ，目前當紅4 大语言模型， 参数越大越不可靠！ 简单任务更容易出错， 誤失率高達40% 這𠆤問題很容易理解。 當我們的需求是專業有限變數的問題， 如股票決策/ 海洋及気象動力/ 無人架駛/ 化學工程/ 土木工程/ 等等，許多專業的有限變數， 這些已建立完成很長一段時間模型的精準度非常高。 而大語言模型想要用海量變數去涵蓋這些專業模式，其自然的結果就是錯誤率極高。 也就是說針對專業有限變數模型，那些大語言模型的99% 變數不旦是垃圾， 還是有毒害的垃圾。 因此使用AI 一定要知道什麼問題什麼場景使用什麼模型。 AGI 必須建立一套專業模型徵用的智能機制。不能一昧的用大模式。 AI的健康發展是以各領域專業專家組為主導，數理統計為核心，編程及算力只是工具，否則用提供算力及工具的這些人來leading AI 發展，會形成外行領導内行，並為AI 發展種下低效偏差甚至高風險的發展。 譬如新藥開發/氣象預報/各種不同語言等等都是以領域專家為核心，否則就亂套了。 更可行的作法， 各國加緊立法，用國家特准许可的方式，來認證並核准各領域不同應用AI 的開發許可及成效認證，譬如目前自動駕駛這領域，不能僅憑廠家自行認證，必需由國家相關單位認證，納入國家法規制約。其實其他領域也應該如此，即便服務大眾的生成式大模型也要納入規範管理，絕對不能任由AI 公司自行任意發佈，一個小電器產品都需有関認證，才能上市銷售，目前AI 大模型實在是太無序了，AI 公司任意上市推出由市場決定其優劣，客戶當白老鼠，完全沒有任何管理約束機制。 任何AI 應用開發的公司，必須有相關該應用領域專業專家為主導，及數理統計的人員的參與，如果沒有通過這些人員資質審核要求的公司或團隊，一律不得從事AI 開發及應用工作。否則視為違法。如同醫師證照，沒證照的醫師坐診，診所如何能執業？！ 建立政府職能的審核監管制度，才能防止並追蹤AI 的錯誤使用/ 違規使用/違法使用， 也進而能排除人們對AI 發展造成危害人類的擔憂。 另外這也和在Part 2) AI 產業發展形成呼應。 AI 發展的3 大組成； 各產業領域的專家，建模數理理論，算力編程的提供及組織。 此外，最讓人擔心的應該是產業領域專家組主導的AI 開發， 他們開發AI的效率及精度都是最高的，而且他們非常淸楚如何使用及駕馭它，也因此容易造成有心人藉此做出違法犯罪甚至傷害人類的事。 而算力提供者主導的AI 開發，往往效率及精度都比較差，頂多只是多浪費點資源，失誤率高點，但傷害性不強。 大家思考一下，我們該擔心AI 算力提供者弄出來的作戰機器人，還是該擔心軍方專業人士主導開發的作戰機器人？！ 特別是在敏感的專業領域，如核暴/氣象/大気動力/海洋動力/基因工程等等，我記得40 多年前，這些參與CIC(AI)建模的產業專家組人員，基本都被政府列管登記在冊。 因此整𠆤AI 產業的發展， 政府必須義無反顧的出面建立審核/ 監管機制，這樣才能確保有序/ 健康的發展。 而眼前無序的亂象也得以解決。
@syh-yb6yh Ай бұрын
老师说话说着说着还急了呢
@weilun2439 Ай бұрын
可以問一下老師在自注意機制時求Q1,Q2時他們乘上的Wq都是一樣的嗎
@吴永峰-t8j Ай бұрын
老师讲得太好了！高人
@chenalna Ай бұрын
老師説現在Transformer可以統一神經網路了 所以想過來學習一下
@Ahwu_AIClass Ай бұрын
🎯 Key points for quick navigation: 00:02 *🤖 自我監督學習的框架與應用介紹* - 自我監督學習（Self-Supervised Learning）利用無標籤數據進行模型訓練，常用於預訓練（Pre-Training）。 - 示例任務包括填空和下一個 Token 預測，這些模型可進一步應用於下游任務。 - Auto-Encoder 是早期的無標籤學習技術之一，可視為自我監督學習的一部分。 02:30 *🎨 Auto-Encoder 的基本運作與重建概念* - Auto-Encoder 由 Encoder 和 Decoder 組成，前者將高維數據壓縮為向量，後者根據向量重建原數據。 - 目標是最小化輸入與輸出之間的距離，即重建誤差。 - 重建的概念與 Cycle GAN 中的雙向生成器非常類似。 06:00 *📉 Auto-Encoder 的降維應用與瓶頸設計* - Encoder 的輸出常被設計為低維度向量，便於處理與儲存（如壓縮至 10 或 100 維）。 - 中間的低維部分稱為 Bottleneck，用於實現降維（Dimension Reduction）。 - 常見的降維技術還包括 PCA、T-SNE 等。 09:00 *🥋 武俠故事引申的壓縮與還原原理* - Auto-Encoder 將高維數據壓縮為低維度向量，再進行還原，挑戰在於如何用少量數據重建完整信息。 - 通過類比金庸小說中的情節，強調壓縮中關鍵數據的選擇與應用效率的重要性。 11:26 *📷 圖片簡化與 Auto-Encoder 基本概念* - Auto-Encoder 透過壓縮維度來簡化圖片表示，降低複雜性。 - Encoder 負責將圖片由多維數據壓縮為有限的簡單結構，描述變化類型。 - 減少圖片表示的維度可以降低下游任務所需的訓練資料量。 12:24 *📜 Auto-Encoder 的歷史與 Hinton 的研究* - Auto-Encoder 早在 2006 年由 Hinton 提出，使用 Restricted Boltzmann Machine（RBM）進行分層訓練。 - 2006 年的技術認為深層網絡無法直接訓練，需採用分層訓練法（Pretraining）。 - RBM 曾被廣泛使用，但後來逐漸被棄用，因為其實際應用有限。 15:53 *🌟 De-Noising Auto-Encoder 與應用* - De-Noising Auto-Encoder 可去除輸入數據中的雜訊，恢復原始數據。 - 訓練過程加入雜訊，Encoder 處理帶有雜訊的數據，Decoder 還原未加雜訊的圖片。 - 與 BERT 的 Masking 技術類似，De-Noising Auto-Encoder 的概念延伸至自然語言處理模型中。 Made with HARPA AI
@溫皓宇-u6y Ай бұрын
這集後面的影片超好笑 老師好讚
@kisoubourei Ай бұрын
这样做其实本质只是找到(训练生成器的)图像库中该类分数最高的图像吧... 感觉比起是对分类器的评估更像是对生成器的评估
@kisoubourei Ай бұрын
这个东西会不会有办法能将分类器转成目标检测?
@Mr._Y2666 Ай бұрын
我的天，我觉得老师讲的好好。
@jimmyliu0104 Ай бұрын
追完整部，左踢奧術、右扁膽大黨，看哭了都，希望教授此生幸福美滿
@王朝-t6j Ай бұрын
最後一個例子，我想現在答案應該會不同吧？chatgpt已經擁有記憶功能，也就是說我前面給過他的資訊他幾乎能一直記得，也就不存在下一句我如果沒給他語言資料他就會忘記怎麼翻譯 老師講的比較像是直接開一個新的對話，那當然就無法翻譯，對話與對話之間是無法相連的
@zhangvvhui Ай бұрын
谢谢老师，为大家提供了这么好的学习资料。