DeepSeek R1をRTX4070TIで動かしてみる【Ollama】

[@こいか-w8c]

すげぇ…！！回答速度めっちゃ早い！ またLLM回やってほしいです‼

[@SignalFlagZ]

ローカルPCで動かせる賢いLLMが増えると楽しそうです

[@0mujian4]

同じくローカルでdeepseek-r1で遊んでいます。 Ollama+Chrome拡張のPageAssistを使用。PageAssistは思考部分の折りたたみ/表示切り替えや会話のエクスポートにも対応。 グラボは中国で改造して売っているRTX-2080ti 22GBをThunderbolt4でノートPCに接続。 制限を外したR1（32b）で、設定によりますが10トークン/秒ほど出ます。 オリジナルのR1ではNGの質問にもちゃんと答えてくれます。

[@SignalFlagZ]

コメントありがとう マニアックなマシン(笑) 計算が遅くて良いのでVRAMが欲しいですね

[@nekotodance]

アセンブラのような低レベル言語でコンパイラの最適化に勝てる実装をするって相当な天才が作ってる気がします。 逆にその人にコンパイラを作ってもらえれば、今までの既存のソース全ての効率が上がりそうな予感。

[@SignalFlagZ]

数年したらAIがコンパイルしてくれそうですよね。 数十年したらプログラミングがロストテクノロジーになる勢いです。 AIがどう動いているか誰も知らない時代が来る

[@takaborn]

Deepseekがニュースになった日にツベで「ラズパイで動いた　秒速３トークンだけど」とかrtx4060で動いたというショートが流れてきました。rtxの人はollamaというものの上で動かしてたので気になってました。日本人でアップしてくれる人を期待してたのでこのどうがを見つけて嬉しかったしかも解説がわかってて良かったです😊

[@SignalFlagZ]

コメントありがとう

[@takaborn]

​@@SignalFlagZrtx4060ti16gで14b動きました　80個 のだんごを７個ずつと３個ずつに分けると組み合わせが幾つ出来るか考えさせたら自分で幾つも条件を設定して試行錯誤しながら正解を出して来たのでびっくりしました　copilotの時はこんな単純な質問で答えは出してこなかったのでpython書かせたのですが平文で条件やループを書いてプログラムに翻訳させて答えを出させた感じでこいつ絶対にに考えてないと思いましたがDeepseekはAha体験もでっち上げじゃ無いかもという気がしました。自分は過去にチョコットVBAを触ったくらいのド素人ですがPowershellだと見にくいのでDocker とOpenwebで見やすくできないかと挑戦中　しかしDocker でどうやったらコマンド入力できるのがわからなくて😅lineみたいな表示が作れればいいんですけどね

[@SignalFlagZ]

コメントありがとう。 32Bモデルのファイルサイズが20GBという中途半端さがくやしいですね。 AI関連はブラウザでUIを作るようにできているのでHTMLページの仕組みを理解していれば簡単に作れるようになりますよ。 ってそれが難しいかもしれませんが・・・

[@takaborn]

返信ありがとうございます色々調べてDocker というソフトの上でollamaとOpen webと言うのを動かしてR1を無事動かすことができました　プログラムは大昔にofficeでVBAを使ったきりでどこにコマンドをいれるのかもわからずDockerあちこち探しまくってまさかPowerShellで動かすなんてなかなか気づかなかった😅14bは物知りではないけど頭は良い感じですね。80個のものを７個ずつと３個ずつに分けるとき何通りの組み合わせが出来るか尋ねたら答えは0以上の数でないといけないからこうしてとか自分で条件を考えて正解を出したり、最近問題になってる米価高騰について尋ねたら生産量減少の影響は軽微で米価が上がることに対する消費者行動と卸売り業者の販売行動の動機に関係する期待、消費者なら買い控えよう業者なら高値を期待して販売を控えようという行動が価格を押し上げる原因と長期に価格上昇が続くのは米先物取引の影響も大きいと回答しました。政府が備蓄米を放出しても一時的に微妙に下がっても昨年の高騰前の価格まで下げることは政府の相当な努力が必要で寧ろ国際価格の影響で今以上に価格上昇する可能性があると回答しました　ニュースなんか見る必要ないですね　ほんと凄い😊

[@MrAirrium]

RTX4070TiでもDeepSeek結構使えそうですね クラウドで中国アプリ使うのは勇気が要りますがローカル環境ならありかも 画像生成Ai用にGPUは使ってしまっているので、画像プロンプトの作成はオンラインのClaudeに任せています 画像生成AiとLLMのGPU同時使用は12Gでも可能なのか興味深いです

[@SignalFlagZ]

コメントありがとう いろんなAIを組み合わせたいけどVRAM不足で動かせませんよね

[@火鳥勇太郎-i5m]

自分はパソコンやプログラムの素人なのですが、昨今の生成AIにとても興味があり、今回の生成AIのオープンソース化に衝撃を受けました。 それをこんなに詳しく教えて頂きまして、本当にどうもありがとうございます。 私自身、ゲーミングPCも一切持っていないのですが、ドスパラで、RTX4070TI、12GBVRAMという仕様で買えばいいのでしょうか。 そして、そのパソコンをセットした後に、この動画の通りにやれば、私の自宅でも個人的な環境で、今回のR1を動かせますでしょうか？ 無粋な質問をして申し訳ございません。 今後とも、生成AI関連の続報に関して、とても楽しみにしております。 頑張って下さい

[@SignalFlagZ]

コメントありがとう AIを動かすのは今後色々なツールが出てきて より簡単になるでしょう。興味が出たら試すのが一番です。RTX40シリーズは旧機種になりました。今ちょうどRTX50シリーズが発売され騒ぎになっています。今から始めるならRTX5070TIがオススメです。試すのが一番と言いましたが、気楽におすすめできる価格ではありません。だからAIはネットサービスを利用するのが現実的です。ブラウザや専用アプリで使うのでスマホでもできます。ただし、あなたがAIに質問した内容は筒抜けなので注意して使います。 また、Copilot+ PCというのも今後活用できるようになるでしょうが、現状は何もソフトが無く将来に期待という状況です。

[@火鳥勇太郎-i5m]

@@SignalFlagZ 凄く詳しく説明して頂きまして、本当にどうもありがとうございます！ 参考にさせて頂きます。

[@kensmith8132]

LLMをローカルで動かす場合、結構、私の周りではLMStudioが使われることが多いですが、KZbin的にはLMStudio微妙だったんでしょうか…

[@SignalFlagZ]

コメントありがとう LMStudioを商用利用するにはフォームに入力して連絡する必要があります。KZbinの紹介程度でどういう返答が来るかわかりませんが、面倒なので避けました。

[@kensmith8132]

@@SignalFlagZ なるほど…、そういった事情があったんですね。 教えていただきありがとうございます！

[@Tou0001]

いい声だやぁ

[@SignalFlagZ]

ありがとう

[@StudioBlupo]

画像生成だけではなくLLMも自宅PCでいける世界が…

[@SignalFlagZ]

進化が速いですよね

[@Tou0001]

素人ながら質問。 メモリが足りないなら普通にビデオカードを２枚、３枚と増やしたらいいだけですか? パソコンにメモリを追加するみたいに。 そうしたら、12GB 24GB 36GBと増えて、いいモデルタイプが使える? もしそうなら、安くてビデオメモリが多いビデオカードをさがせば、このAIをもっと楽しめる?

[@SignalFlagZ]

コメントありがとう AカードからBカードのメモリーを読み書きする必要があります。コンシューマのGPUカードでは、それはとても遅いので使い物になりません。例えばスマホで撮った10分のビデオを友達に送ろうとしたら転送にとても時間がかかって待ってられないのと同じです。

[@Tou0001]

@@SignalFlagZ ありがとうございます。 なるほど、理解しました。 色々なカードを探すとNvidiaのRTXというのがありました。そちらは、もっとメモリが多い。 ただ、値段も100万円近いものでした。 グラフィックボード選びは難しい。 高いの買っても、つぎは電気代とか悩みがつきないパターンに入りそう。 ここは動画のようなグラフィックボードを選び、そのなかで検証するのが現実的なのかなと思いました。 ありがとうございます

[@rh975s]

頂いた手順で、deepseek-r1の14bを動かせました！ただ、気になるのが私の環境だとGPUメモリの利用量はほとんど増えませんでした。CPUの利用率だけが上がっている感じです。なぜかわかる方いらっしゃいますでしょうか。。Ryzen 5700XのRX 6750XTです。

[@SignalFlagZ]

CPUだけで動いているのでしょう。 RX6750XTはOllamaのサポートリストに載っていませんね。 しかし、設定をいじると動かせるという話もあるようです。

[@rh975s]

@SignalFlagZ なるほど、理解出来ました！ありがとうございます🙇‍♂️

[@mizukiyoshino7321]

イデの力を理解してるのに笑ったｗｗ DeepSeek、OpenAIの学習モデルを蒸留したものをカスタムしている可能性が浮上してますね… 最近ローカルで使える程度に量子化された大規模言語モデルが増えてきて公私ともに使いやすくなってきましたね 自分は構築や運用が楽なLM Studioでいろんなモデルを動かしています

[@SignalFlagZ]

LLMを使うだけでなく学習もやってみたいですが、個人PCでできるようになるのは何年後でしょうね

[@rti7743]

Nvidia以外のグラボだと推論は動くんかな? もし、持っていたら試してほしい

[@SignalFlagZ]

コメントありがと OllamaはAMD GPUもサポートしています 持っていないので試せませんが

[@Bacon27341]

RTX3060でも行けるかな

[@SignalFlagZ]

7Bか1.5Bのモデルなら余裕で動かせるはずです

[@mt2802]

ちょっと前に必要ハード揃えるのに数百万かかるって聞いたから凄まじい価格破壊

[@SignalFlagZ]

モデルを小さくする技術も発達しましたね

[@Tou0001]

うーん、気になる。 今、モデル8bをテスト中。VRAM8GBしかないため。 モデル14bや32bだとどれくらい思考が違うのかが知りたい。 業務で使うのにモデル8b14b、32bと迷う。 今、かなり細かくプロンプトをする必要がある。32bならもっと賢いなら、NVIDIA RTX 4000 Ada購入。 ただ、個人ならコメントにあるRTX 2080 Ti 22GB購入が利口。 もう少し動画探します

[@SignalFlagZ]

速度はがまんでCPUだけで試すか、今後Copilot+PCに最適化されるとどうなるか、興味は尽きませんね。

[@Tou0001]

@@SignalFlagZ いまの結論でました。 頑張って良いパソコン性能はいらない。 Deepseekは取り込み文字が３９００文字まで。 プロンプトでカバーしていくのがいい。 CPUは１０世代 メモリ32GB グラフィックカードはGTX2070スーパーVRAM8GB R1 モデル8B というので利用を続けて業務に取り込みます。 もっと賢いモデルを海外の動画でみた。モデルを賢くすると、計算も膨大になる。いまの、モデル8Bで、いまできることでテストしていくのが無難とわかりました。 あとは試すだけの繰り返しなので、一番苦労するであろうスタートはきれました。 この動画で本当に助かりました。ありがとうございます。

[@HANZOH1970]

あー、使ったんですね。もうパソコン内の情報持ってかれてると思いません？なんせ中国だし、AIだし。

[@SignalFlagZ]

そーなんです 簡易水冷のポンプが壊れてPCが動かなくなりましたよ

[@Ange_GameChannel]

壊れるんですか？！

[@SignalFlagZ]

@Ange_GameChannel 壊れませんよ(笑) ポンプが壊れたのは事実ですけど

[@umechans_retroactive]

DeepSeekがChatGPTのパクリだと話題になっているので今後のニュースが気になりますね。

[@SignalFlagZ]

なんか面白いですよね。

[@dugdig7716]

LM Studioでオープンソースのllmを紹介してるKZbinチャンネルは大量にあるし、TVニュースでもLM Studioを使って紹介しています。センシティブになりすぎでは？OllamaよりLM Studioの方がユーザーフレンドリーでどうせ紹介するならそっちのほうがよいと思います。

[@SignalFlagZ]

LM Studio便利ですよね

[@玄士]

例の感染症並みに恐怖しかないんだが。 何かあったら中国の法律で裁かれる規約。

[@SignalFlagZ]

さしさわりない質問だけで試した方が良いですよね

[@フォナシック]

ローカル版ならそんな恐怖することある？

[@itoh8788]

ローカルで動かすし、モデルはMITライセンス。どこが中国の法律と関係あるのか教えて欲しい。

[@tashanglong]

煞笔

[@ラーサメ]

ローカルだと問題ないでしょう。