Claudeの最新モデル登場！PCを自動で操作できるComputer useなどを解説してみた

[@takayamayoshikazu2782]

ターミナル開いて勝手にコード買いてくれるので、プログラミングやる上で効率化しそう

[@ilabotakeda]

そうですよね。ドキュメント読んでサンプルソースをちょっと色付けして動作させて結果見える所までをやってもらうだけで大分助かります。最近AIもAPI増えて毎回面倒なので、そこができるととても嬉しい😊

[@unhork2]

扱った感想ですが、現状は仕事で使うには制限が多い気がしますが、今後仮想内に開発中のシステムソースからDBまで入れて自動的に検証や簡易的な修正およびそれをエクセルにエビデンスを残せるように出来るかもって思わせてくれる。感動的な進化だと思いました😊いつも有益な情報ありがとうございます。とても助かっています🎉

[@aivtuber2866]

ありがとうございます！ 確かに現状はまだすぐに実用化とはならなそうですよね🤔 確かにテストとか諸々やってエビデンス残してくれるようになったら良さそうですね･･･！😊 こちらこそ、いつも見ていただきありがとうございます！

[@juteon]

余りの驚きにいつもとはキャラを変えて失礼します 私もXでこちらの機能を見たんですが本当に革命的な機能ですよね にゃん太先生を追ってて本当に良かった、色々助かってます

[@aivtuber2866]

いつもありがとうございます！ こんな事できるのかって驚きますよね😊 今後もそう言っていただけるよう頑張ります！

[@pragman3561]

OS操作をしてくれるのは活用可能性は大きいですが、現在のRPAの代替とはちょっと文脈が違う気がします。 RPAって「常に同じ操作をしてくれる」ことを期待されてるから、行動（出力）が完全には一致しない生成AIはあまり受け入れられなさそう。 あと、システムを抜本的にリプレースできないから小手先でごまかすようなレガシーな会社が使うのがRPAですし。

[@aivtuber2866]

確かによく考えたらおっしゃるように出力が毎回変わったらだめですね🤔 内部的には関数を順番に実行して操作しているっぽいので、 それをトレースしてRPA化するとかならできそうですが、そこまでしてAI使う意味もないかもですね･･･！ > あと、システムを抜本的にリプレースできないから小手先でごまかすようなレガシーな会社が使うのがRPAですし。 こちらも確かにRPA使っている現場で生成AI使えない箇所も多そうですね🤔

[@FinancialCamp]

有益な情報ありがとうございます！いつもPremiere Proで動画編集をしているのですが、例えば、寝ている間に動かしておいて、ある程度の動画編集をやってくれるようになるととても嬉しいなと思いました！

[@aivtuber2866]

ありがとうございます！ 確かに動画編集ある程度でもやっといてくれたら めちゃくちゃいいですね･･･！😊

[@BNQUET1985]

いつも有益な情報ありがとうございます！ AI驚き屋と違って、AIが至っていない点も解説してくれるので有難いし、信用がおけます(*^-^*)

[@aivtuber2866]

ありがとうございます！ サムネは若干驚いてしまっていますが笑 そう言っていただけるよう頑張ります😊

[@あみお-s8b]

RPAの導入を考えていましたが、Claudeでできるかもしれないということですね。

[@aivtuber2866]

そうですね！　 ただ他の方がコメントでおっしゃるように AIだと挙動が毎回変わったりするので現状の枠組みだと 全自動は難しいかもしれませんね･･･！🤔

[@田中洋-f6i]

Computer useをみてOpen Interpreterを思い出した🥸

[@aivtuber2866]

Open interpreterあまり使いこなせていなかったんですが 近い感じなんですね😲

[@9999-g7z]

夢があるなぁ

[@aivtuber2866]

どうなるか楽しみですよね😊

[@practical-wp]

Compute use はデモとしてはとてもおもしろいですが、コスト・セキュリティ・スピードを考慮すると今のところ実用性は低い気がします。 コードで代替できる処理はコードを生成して実行した方がいいので、どうしても GUI じゃないとできない作業や複数のアプリをまたがった作業に用途が限定されそうな気はします。 もしかしたら人間の教育・学習補助などにはよいかもしれません。

[@aivtuber2866]

ありがとうございます！実用性はまだ低そうですよね🤔 確かに、パソコン詳しくない人とかに 操作とかを自動で案内してくれるようなサービスは良いかもしれませんね･･･！😊

[@practical-wp]

わざわざご返信ありがとうございます😊 初めて使うアプリや久しぶりに使うアプリの操作方法を実演してもらいながら説明してもらう、とかもユースケースとしてはありかもしれません。 いつも動画楽しく拝見しています😸

[@瑠璃-k2w]

Anthropicの逆襲に期待したい。 （（単純に小説等の擬似創作能力が高くて表現とかがGptと相対的に見て好きなだけですが

[@aivtuber2866]

私もAnthropic好きです･･･！ まずはOpusに期待ですね！

[@zuruzirou]

3.5 opusは予定表から消えてました

[@aivtuber2866]

ありがとうございます！ 予定表から消えてたんですか😱 安全性とかで問題あったんですかね･･･。 残念ですね🥲

[@ilabotakeda]

下位層で画面情報を扱うためのフォーマットが絶対に作られて標準化されると思うけど、簡単な形になるといいなあ。変にまたHTMLとかCSSみたいにフォーマットややこしくして利権化されると頭痛いですね😅

[@cogit_ergo_sum1]

さっそくの動画ありがとうございます。頭脳部分のAIが進化していくと、Copmputer Useのような手足をつけていくだけで機能がどんどん拡大していく印象です。ツールやAPIを自分でダウンロードしたり使い方を覚えていくようになればきっとさらに万能になるでしょう、、にゃんたが時々じゃまもの扱いされるの可哀そうです（笑）Computer Useでにゃんたの位置を常にベスポジに保たせるというのはどうでしょう。ハイテクを無駄につかいますww

[@aivtuber2866]

ありがとうございます！ ベースのAIがアップグレードされると、 こんなことができるのかというのに驚かされますよね！ にゃんたの位置決めさせるのは贅沢すぎる使い方ですね😆笑

[@shinzoabe4777]

恐ろしい子。。！

[@salmon54561]

お～！これはめちゃくちゃすごいですね！ ちょっと試してみましたが、ブラウザに日本語で入力するのがあまり上手くないようでした。あと、Computer Useはインプットトークンがアウトプットの８０倍ぐらいかかってて、ティア１だと、3.5 Sonnetを3.23ドル使っただけで、入力が100万トークンを超えて一日のレートリミットに達しちゃいました💦 ClaudeのAPIを使うのはほぼ初めてでしたが、ティア２でも一日250万までらしいので、結構レート制限がきついんですね🤔

[@aivtuber2866]

勝手に動くの感動しますよね😆 なるほどです･･･！確かに見てみたら70万トークンも消費されてて エージェントなので過去の履歴全部入力してそうな感じですね😲 Haikuだとちょっと緩いので期待ですね！

[@DanikaHazleton]

こんにちは、ビデオ制作がとても気に入りました。外部とのプロモーション協力を受け付けていますか？

[@無し名-e4e]

マイクロソフトもアップルも実装して来そうだから、Linuxに入れてサーバー運用監視の自動化とかできるといいなぁ

[@aivtuber2866]

サーバーの運用監視して必要な人に通知してくれるとかできたら良さそうですね🤔

[@hitsuki_karasuyama]

人間の仕事はどのAIが一番性能高いか比べることだけになりそう o1と比べてどっちが性能高いのか調べるだけの簡単なお仕事

[@aivtuber2866]

こういうので仕事楽になったらいいですね･･･！ 評価するのが結構難しそうですが🤔笑

[@SKILINE0815]

にゃんたさんはアメリカ行かないんですか?　ここまで優秀だと海外行ったほうがいいと思いました。

[@aivtuber2866]

そのように思っていただけているのは嬉しいです･･･！ 海外行ってみたいですね🤔 仕事でチャンスありそうなので、頑張ります💪

[@リラくん-u3q]

動画upありがとうございます。 質問なんですが、9:22からの使い方はお金が掛かりますか？

[@aivtuber2866]

ありがとうございます！ APIの利用料金がかかってしまいますね･･･！ 今回の動画でも300円くらいかかってました😲

[@リラくん-u3q]

返信ありがとうございます。まだまだ高いですが改善されていくことを期待します。

[@魚釣り-r2e]

これ画面読み取って擬似的にマウスキーボード操作してる仕組みだと思うけど多分あんまり流行らないと思う。コンピュータは人間が使うのに最適化されていてAIからしたらカーソルの移動とかスクロール、画面外のアプリケーションとか読み取りにくすぎる。本当に実用化しようと思ったらOSレベルで組み込んで常に環境把握しながらアクセスするような仕組みにする必要がある。となるとMicrosoftかAppleが強い

[@aivtuber2866]

なるほどですね･･･！ 確かにMicrosofotとかAppleだったら操作ログ沢山持ってそうなので 学習したら自動操作できるAIが作れるかもしれませんね🤔

[@ya7855]

たぶんその辺りの認識はそんなに難しくないのかなと

[@duo-game-1214]

プログラムでAIが作ったコードがコンパイルエラーだった場合、自立的にエラーを解析しIDEに直接入力してくれるのかどうか興味があります。

[@aivtuber2866]

自動でエラー解決はできそうな感じもしますよね🤔 また、こういうの出たらデモで試したいと思います！

[@ない-r3r]

エージェント機能、確かに技術的には凄いんですが実用的な段階に達するのは早くて来年の今頃、下手したら再来年とかになるわけで、正直OpenAIに後出しで抜かされそうな予感しかしないのが なんにしても予定表からの3.5 Opus削除でAnthropicは残弾なくなったのがちょっと心配（3.5 Haikuは正直玉として弱すぎる） 結局OpenAIの一人勝ちとかはつまらないから頑張って欲しいです

[@aivtuber2866]

確かに今回の最高精度のモデルでも 現状実用化は難しい感じですもんね･･･！🤔

[@sakamoto0321]

タイムリーやな

[@aivtuber2866]

朝一で撮りました😆

[@yorokobi161220]

RPAはプログラムと同じく正確に処理をしてくれるので、絶対にそれた事はしません。そういうルーティンをAIにまかせるのはかなり無理があるかなぁと思います😅　なのでPCであっても正確性を求められるものには向いてない気がします。AIの勝手な判断なしに忠実にやってくれるんだったら働かずに稼ぐみたいなことも夢じゃなさそうですけどね😁

[@aivtuber2866]

なるほどですね･･･！ 確かにAI使うと出力変わったりしますもんね🤔

[@user-uv6nk1xq4s]

twitterとかdiscordでリサーチできるようになってほしいな

[@aivtuber2866]

色々な情報源から自動でリサーチしてくれると助かりますね😊

[@user-6w3s4thf3o]

サムネ、CA-LU-DE　カルデ　になってるで

[@aivtuber2866]

ありがとうございます！ 全く気付かず確認不足でした･･･！🙇‍♂️ 助かりました！

[@Naporia]

o1は3000行くらいのコードをエラーなく一度に出力してくれますが、Claudeの性能はどうですか？

[@aivtuber2866]

新しいClaude使ってますが 正直個人的にはあまり差分が実感できていませんね･･･🤔笑

[@猫日向]

はい、結論はopen interpreterの圧勝でした。というのもpc操作はアプリの実行制御も含めて、コードを書いて実行する方が制御がし易いからです。何をするかわからないtry＆errorはデモの領域を出ません。

[@無し名-e4e]

これプレミアプロとかアフターエフェクトとかフォトショ操作させたら自動で編集してくれるのでは

[@poo333]

さすがに無理かw

[@無し名-e4e]

流石にまだ厳しいですかねw

[@大久保直太朗]

Computer useは今のところ全く実用的じゃないですね（RPA使えない人向けとしても微妙） 3.5 Sonnetも軽く触ってみた感じ、全体的に精度向上してますがコード生成能力と一般的な文章生成タスクはともかく推論能力、高度な言論処理能力ではo1の足下にも及んでないです 3.5 Opusは予定表から消えててAnthropicの現状は大分厳しいという所感です 3.5 Opus近日中に来ると思って心待ちにしてたので飛んだのは割とショックですね……

[@aivtuber2866]

勝手に動いておぉ！と思いましたが、実用性はまだ低いですよね🤔 o1の凄さを実感できていかったんですが、そんな凄いんですね･･･！ Opus私も楽しみにしていたので、悲しいですね😱

[@大久保直太朗]

@@aivtuber2866 一般的なタスクではClaudeの方が上だと思ってるのですごさは実感しにくいと思います ただ推論能力、論理的な思考力は凄いと思ってます！

[@山田修平-c6h]

またAIが凄い一歩を踏み出したって感じだね😮

[@aivtuber2866]

進歩が凄まじいですよね😲

[@daisukepsys1]

悪用されると怖いなぁ

[@_KEN-rv3hh]

ハードを制する者がAIを制する