【0x答問】2025-01-11 砌一部性價比高的AI電腦 / IT人的最好投資! 〈Allen〉

[@andyctk6749]

感謝. 學到好多嘢

[@TheFutureThinker]

好認同你嘅講法好多人唔肯去投資買張card , 又想試又唔Q做, 唔好話香港全世界大把呢啲咁嘅人

[@timmyng9560]

Hello , 有睇開你既 tutorial , 你既教學真係非常 update 同實戰型 , 謝謝 👍 但最估唔到既係 , 你會講廣東話 !

[@nottoday3429]

呢條片資訊量好高,要收藏, 多謝晒

[@terencelee6492]

我做 cybersecurity, 兩年前重返校園讀 ML/AI, 最初學習可以用 colab, 自己電腦好舊 (VRAM 2GB) 但用到 cuda.. 及後換咗部 laptop 有 3080 Ti.. 有科做 text mining project 要用 7B 模型生成假新聞內容, 至少 16GB VRAM, 所以我認為作為起步, 3090 係最低門檻, 之後嗰啲已經係入咗行要考慮嘅投資

[@kobe006086750]

好想問，Jetson orin nano super 呢類電腦喺AI市場上扮演住咩角色？（人話：Jetson orin nano super 做到D咩？)

[@manau8999]

想問自己local試同係cloud試分別係邊？正常公司用會行local 多定係cloud多？

[@fungching4997]

請問下用Apple M4 版MacMini 可以用來做到 4090 N card嘅訓練嗎？

[@24bilis]

想問係好咗部機之後要學習ai，建議網上找尋免費資源定係報讀適合的課程比較好？

[@angus8528]

感謝Allen🙏🙏🙏點會媽丫🤞🤞🤞多謝你至真💪💪💪香港人活在獅山下🤳🤳🤳學到好多嘢😊😊😊 好明顯. 對於(比較上進⬆⬆⬆)又唔係IT行業嘅人嚟講 呢啲係好有實用性嘅資料💯💯💯

[@777Donaldtrump]

Thx so much, 想請教下點解最近咁多data center 開始用 amd gpu chips? 黎緊 amd GPU 發𡱒你點睇? 你又覺得 AMD GPU 有無前景??

[@wah866sky7]

對於一個資歷不多的 IT 人, 最好投資的知識方面 (學習時間有限), 為了生存, 應該要先掌握那些技術 ? (Machine Learning - PyTorch / TensorFlow, Cloud - AWS / Azure, Data Management, or any programming skills...) 謝謝

[@tinymicronano]

請問 自己setup左個LLM, 其實要點樣train都佢合用？點樣修正佢？

[@leochan8496]

感激無私分享, 請問你們會用什麼牌子防毒軟保安軟件! 分享一下好嗎？

[@mmmjhccc]

請問如果公司約20人到50人同時在用ollama的大模型，主要用rag，及comfyui畫下圖，最多做下微調，請問若用ai server如 Lenovo ThinkSystem SR630 V3 加4張 5070Ti GPU這樣配撘可以嗎（因看到5070TI與4090差不多而價錢平些）

[@waitotsang4023]

so can search vllm , if batch inference

[@chendk4644]

以ai運算計5070ti 好難打贏4090 ，cuda core 差成半喔

[@JC-yj5xn]

外置顯卡盒唔夠BW 行唔到勁卡，就算雷電4都係去到4060 4070就已經盡，再上條雷電口會成為樽頸就算你裝再強既卡效率都唔會提升，而且市面比較平既產品仲係用實際BW更低既雷電3。雷電5就算第時有顯卡盒都會係天價貴過你整多部PC。

[@waitikso5995]

現在市面cp值較高其實係MacBook pro （M4 max 128GB integrated memory 同portable）或者Mac studio (M2 ultra 196GB integrated memory) for local development and testing. 然後試好無問題就deploy 到GPU server 做training同fine tune 未來的話 nvidia project digit (128GB integrated memory) 有得諗，如果memory吾夠重可以將兩部stack埋一齊

[@Tama-g1j]

您好. 我係第一次睇你嘅 channel. 可否介紹一下 有 and ai CPU 嘅 mini pc. 主要用途係 AI application development (base on ollama)

[@ronaldhung9157]

Thanks. 好實用😉

[@kitkitngan]

多謝你回答，非常有幫助🙏🏻

[@tonywong4058]

希望能視頻介紹AI使用入們。

[@ChristopherChan-tf1wy]

Allen 覺得一啲新興程序語言，例如Go, Rust 前景如何，會唔會逐漸取代C, C++, Java... 另外，RAG如果整合knowledge graph，例如用neo4j，比起以往只用vector database係準確度、latency有咩不同？感謝

[@dojjy5798]

新嘢已經好少用C/C++/JAVA去寫，除咗高頻交易依然好依賴C++ Go已經算好通用，因為易學易寫，唔少Server side都係用Go寫 Rust雖然好勁 亦被美國政府推薦使用，以取代C，但因為本身難學，multi-threading又難搞，memory safe嘅賣點都有漏洞 (你多數會用unsafe block)，以及其他語言推出嘅功能而變得唔再獨特 (C++ smart pointer, Zig defer release)。好少公司用

[@Hugo_Youtube]

​@@dojjy5798 其實好多trading field App都仲係用緊C++/Java嘅，一嚟做HFT真係有latency concern，二嚟係呢d咁重型嘅system唔係近1~2 build出嚟，而且一旦launch咗就唔係咁容易可以轉。新興sector比如Crypto trading就好大量用Go + Rust + Python，而且完全cloud base，通常都係AWS

[@ChristopherChan-tf1wy]

@@dojjy5798香港仍然比較少公司用Go，Rust的確係好難學同寫，但一些底層工具開始多用Rust，例如Qdrant, Python uv ruff

[@gigabytechanz9646]

要看 Eco system! 其他次要！

[@dojjy5798]

@@ChristopherChan-tf1wy 係好多Rust寫嘅好用Library，不過都係愛好者開啟嘅project。 但講到前景的話，我未見到會有更多公司去adopt Rust

[@gigabytechanz9646]

Fine tune 的 VRAM 應是 model size 的3倍以上，否則你要減 batch size 到 1-2, 那時 batch normalization 就不好，model 出來會差少少！但好過冇

[@TamTam-je3oj]

學到野呀。。答問好呀👍👍👏👏

[@wingwing3097]

雖然我唔識AI，但都學咗好多嘢 多謝

[@patrickng1287]

學到嘢，極同意首先要行到先。其實GTX1650 4G VRAM 都行到llama 7B model, 不過要行cpp 版， Qwen 2.5 8B 用AMD 7840H, opencl 都出到4~5 tokens per second

[@footsteps4252]

本集关于硬件了解知道了。Allen ， 是否可以在你下一个AI视频中，介绍一下你公司开发的模型，模型的细节之类的。

[@JuneCheung-nt1om]

Colab 最大問題係好易斷線，尤其係train model 果陣，一斷咗又要從頭開始。如果有興趣做AI，都係買張好少少的顯卡。

[@fenix20075]

用runpod，地區選捷克 XD

[@fenix20075]

如果真係想買卡 / 機玩 AI，可以先去 runpod 租卡來用，試到自己想要試既野先決定係咪要買

[@chankk-wb3qd]

🎉好有用

[@poorkit]

感謝🎉😊 我和小朋友也有收睇你的節 替小朋友問個問題 如果小朋友想學寫程式 請問學什麼好？是否java, python 呢D？ 佢未有學過的 謝謝!

[@henryhk02]

其實學個思路緊要個乜野language

[@HKWong-kw9nm]

@@poorkit Assembly😁

[@name1927]

我本科都係讀經濟。但搵工搵到份IT工。

[@ukakin1]

其實可以用cloud嗎，唔知幾錢，又唔洗買晶片又方便，好似chatgpt 都係用microsoft cloud去做training, 有沒有為個人用cloud,樓主可以解答下嗎

[@gigabytechanz9646]

cloud 是可以的，但很多地方都不接受香港 ip, 要 vpn！而且好多時要長租先有！短租就排隊啦！另外如有公司保密資料，那不用想了！科技園公司有本地的 STP cloud ，但不平！

[@ukakin1]

@@gigabytechanz9646 又美國佬玩野，現在AI PC成本太貴好似當年80年代剛有電腦年代，買4090等做小型訓練對於個人

[@gigabytechanz9646]

@@ukakin1 冇辦法，落後就一係投降，一係捱打！為了下一代，撐下去！

[@waitotsang4023]

4 -5 HKD per hour per 1 4090 , you can calculate cost of PC + electricity to compare

[@choisimon3705]

砌機嚟講張公版5090睇落都吸引(如果係香港買到) 2 slot GPU又有pass through cooling 機箱唔使買咁大 VRAM又有36GB

[@gigabytechanz9646]

問過，要預訂，炒價已上三萬！

[@gigabytechanz9646]

如果底板有2個 pci-e gen 5，那就好很多！但現在很多祗是 1 個 gen 5, 另一個 gen 4, 甚至 gen 3, 那就不好！不過我不知有沒有底板是 2 個 gen 5, 又有足夠位放 2 4090！不過 4090 好似是 gen 4! 唉！

[@vrdrive2538]

私人用 subscribe 會否更化算。

[@kkhc1068]

究竟花4000美金買AI PC好，還是4000美金買QQQM，五年後回報比較好呢🤔

[@wshiahb]

35歲先轉行做it得唔得？ 純粹幫人打工，咩位最值錢？

[@gigabytechanz9646]

如你有好的數及電腦底，35歲是可以！打工最值錢當然係"1. 有系統地 2. 分析及 3. 解決問題" 的能力！其次是work with Team

[@name1927]

人工唔會高。要由基層做起。起碼熬10年。

[@abeli8753]

我想問一啲大眾化啲嘅問題： 1.你經常談論嘅AI，同我身邊玩AI嘅人係兩樣嘢，佢哋會用Stable diffusion做好長期嘅訓練、畫吓圖，亦會下載一啲模型玩埋影片。一樣都係進步得好快嘅一個AI發展方向，亦好有市場潛力。你有接觸過這類AI嗎？會有興趣嗎 2.我只係有試過接觸，唔算非常投入。但隨着Intel Apple高通嘅CPU都相繼標榜AI性能，點解我朋友係會話唔係快慢嘅問題而係根本就唔支援呢？同理地，甚至用AMD嘅GPU佢都話就算做到效果都非常差，到底點解AI運算係會有呢種分野？ 3.既然係用大眾向嘅角度去睇，你應該都接觸過唔單止上一輩嘅人，而係有好多唔同階層年齡嘅人都擔心AI會搶走佢哋飯碗，對於一般普羅大眾我能夠理解，但呢排已經有兩個IT行業嘅朋友仔談心嘅時候講起佢哋嘅擔憂。我通常都係會同佢講識得形容就係工具，佢哋話我唔明。其中有個係手繪畫師，佢直程覺得發明呢啲嘢嘅人係敗類係扼殺藝術創作，日日都放負。你你嘅睇法會係如何呢？ 4.你點睇虛擬貨幣嘅存在？我哋先談論三種：bitcoin,eth,doge.美國嘅總統又或者佢嘅幕僚Elon係經常會提到有甚至可以講得上係倡導，係會影響經濟定已經影響經濟定唔會影響經濟？呢樣嘢中國或俄羅斯亦一直用挖礦方式儲落多，好似唔係淨係美國投入咁，請問有何觀點呢？ 5. AI發展會唔會只係一個泡沫？我嘅觀點係而家發展嘅AI並非冇佢嘅用處，但響能量消耗與產出比例上由一啲科技巨頭嘅數據已經睇得出並唔能夠取得平衡，會唔會因為呢種情況導致收尾用返普通嘅程式開發加數據庫去造成嘅工具比AI更有優勢，回頭睇返AI只係一個曾經給予美好幻想嘅泡沫？ 6.你對於本地同雲端運算喺AI上有乜睇法？ 本地搭建要用嘅錢，就算你呢集都有講及好多。雲端嘅講到尾當然都係會收費，但可能已經有一啲更好嘅基礎建設環境同誇張嘅算力，會唔會計返電費其實玩雲端先係未來嘅出路？當然舉個例子，我玩本地算圖的，係冇任何限制。但我試玩幾個網上嘅AI算圖平台都係好多嘢出唔到。

[@gigabytechanz9646]

1. 單純產生影像是好玩但冇市場：人人都會, 冇 business model, 要有完整系統處理流程！ 2. 其實要看 pytorch, tensorflow 是否支援，是否有 optimized for that hardware！CPU 就實支援！ 3. 寫文及影像就一定受影響，以前5個人，可能現在 1-2個就可以！ 4. Trump 家族有玩虛擬貨幣生意，他當然支持，佢隨時賺幾十億！但實際如何則人人看法不同！ 5. AI 一定不是泡沫，因為它的「部份能力」已接近人，10-30年後可能超越人！國家和公司沒 AI 就是沒得競爭！ 6. 本地 cloud 先要解決制裁

[@gigabytechanz9646]

錢多少少用 L40S 啦！省了的時間都係錢！

[@whatislovebutonelonggame5406]

電費最金 XD

[@xinmsl8964]

AI電腦❌ 電競電腦⭕

[@richardlim6436]

❤

[@georgewong1709]

台主，坊間有太多的所謂 KOL 話香港的［聯系滙率］是要得到［美國首肯］，美國隨時可［廢除］聯系滙率，實則，港元與其它外國貨幣掛鈎，並不需要該國同意，情形一如證券發行商發行某一隻牛，熊證一樣，發行商衹要向證監証明有［足夠］的股票在手，就可發行一定數量的牛，熊證，不知這樣的解說是否正確？？還望台主指正，及用更顯淺的方法解釋聯滙的操作/掛鈎等問題。謝謝。🙏🙏🙏🙏🙏

[@abeli8753]

咁呢啲嘢其實同一對情侶嗌交差唔多嘅啫，好多時就算男嗰方係有道理，女方純粹刁蠻。甚至全世界都認同係女仔嗰邊理虧，但係嚟緊嗰個禮拜唔單止你想錫一下個女仔都唔得，仲要道歉同氹返佢添。 係，鍾意點樣計聯繫匯率對方講乜都冇用，但最好唔好啦。 香港而家已經好多外國服務用唔到了，想買張靚啲嘅顯示卡亦唔預香港了。 你可以翻牆，可以買水貨。 但再係咁樣增加外國制裁嘅藉口，大家嘅生活就會一層一層咁俾人剝削得更嚴重。 我唔想每一步都要鋌而走險走精面之類。 已更慘嘅係咩？係唔單止外國嘅AI我哋冇得玩，連中國嘅亦都冇開放俾香港用。 感覺就好似全世界得香港同北韓俾人孤立咁。

[@HKWong-kw9nm]

@@abeli8753 你去過朝鮮見識過先好同人講咩叫「孤立」啦。

[@JC-yj5xn]

某程度上係是要得到［美國首肯］，假如佢金融制裁你簡單如好似以前南非阿根廷咁，已經唔駛去到制裁伊朗古巴級數咁全面禁運，甚至俄羅斯咁停SWIFT，到時港元價值大跌咁你仲邊有資金保持掛1對7.8先。

[@lehmanlam2170]

一句，只要制栽金管局，唔俾佢進行美金交易，買賣唔到美金仲點維持？

[@xinmsl8964]

而家俄羅斯盧布唔俾換美金一樣，有咁近實例放係眼前你仲講得出唔洗美國同意，無知得可怕

[@ericliu3366]

唔 delete留言？我之前有個留言好快被delete咗。而且都唔係D乜嘢負面留言。

[@0xmd]

留言可以選擇「熱門」或「最新」，前者會隱藏一些留言，後者則會顯示所有留言。如果都沒有，那就是 KZbin 刪除了。 如果方便的話，可以重新發佈留言，謝謝！

[@kalasend]

喂, 真係可唔可以唔L好 成日叫「IT人」呢? 正正經經叫software engineer 好L委屈香港人㗎?

[@HKWong-kw9nm]

software engineer 只是IT人的subset，IT人仲包括好多software engineer 以外的技術人員

[@kalasend]

@@HKWong-kw9nm DLL味, 又玩嗰啲「香港人唔係剩係中國人」....喂, 你綜觀身邊自稱或者被稱IT人嘅朋友, 有幾多個唔係搞軟件? 容許我冒昧講句, 今時今日, 做駁線、砌機嗰班仲同人講自己「做IT」都驚俾人踢爆笑G死啦

[@ukakin1]

其實IT認該好似醫生咗要分類眼科，心科，骨科等等，現在太廣泛啦定義

[@true4795]

TL就🦆

[@gordontang8187]

其實我都有咁既問題 成行IT 你做晒咩 software engineer network enginneer ML engineer 做既野已經好唔同 正正經經 叫返自己做果行咪好