Finally succeeded in creating artificial intelligence that walks physically [Reinforcement learning]

[@Mr-oe6hd]

そう考えると人間は凄いなあ 無意識に重心制御できるし倒れかけても持ち直せるし

[@oh_kuwa]

自画自賛乙

[@脱脂粉乳]

@@oh_kuwa そっか...お前ブロッコリーか

[@47su-20]

@@脱脂粉乳 お前もシラスだったんだな。俺は真っ直ぐ進まないぞ。寧ろ味方の方に転がっていく。

[@グリー-n5y]

二足歩行できるのは、人間だけじゃないぞ！

[@脱脂粉乳]

俺は二足歩行型しらすだから歩けるんですけどね(＾ω＾)

[@takaohirai1393]

やはり、はいはいから出直すのが人間の歩行らしさに繋がるのでは？

[@oh_kuwa]

ピストンからやり直す

[@あおし-u6g]

*_ブロッコリー_* それはクライマックス

[@簡単金剛]

*_ブロッコリー_* ホックから始めよう

[@水素水-e2i]

アオ鶴見 草

[@森てぇ]

@John_walker それ思ったｗｗ

[@度連観譜祖良士奴]

3:06 急がば回れを学習した説

[@sinuture]

ラシ 推したい

[@度連観譜祖良士奴]

sinuture 多くの報酬を得るために目的地まで少し手順を踏むってまんま急がば回れですよね… AIもこういうこと出来るんやねってはっとなった

[@KK-sj7co]

フラミンゴの時の米津玄師より歩くの上手い

[@Loxonin318]

割とすき

[@선우재언]

あの米津玄師は下手なのだろうか

[@user-yorozuya68]

あなたフラフラ、フラフラみーンゴー

[@じょん-o9f]

ついにAIが人間を超えた…？

[@cypher7707]

米津玄師が歩き方を学習中だったんでしょ()

[@daradaradarari]

まだまだですねー がんばってください！

[@なつき-b2b]

のんべんだらり 草

[@苔-s2w]

辛口コメント

[@MUTSUGORO_]

3:44 まだ根に持ってて草

[@octo-uro]

＿人人人人人人人人人人＿ ＞ まだまだですねー ＜ ＞ がんばってください！＜ ￣Y^Y^Y^Y^Y^Y^Y^Y^Y^Y￣

[@MUTSUGORO_]

これで歩行できなくても 「最もエネルギーを食わない新しい進み方」 を発見できたらそれはそれですごいな

[@無名-c1d1w]

エネルギーの概念追加すればできそう

[@user-raptor4913]

それ極な生侮感案件じゃね？（部位を無視して這い回るやつ）

[@雲-f9p]

どこか一部に乳酸溜まりまくってめっちゃきつくなりそう

[@パワーオブたかし]

ちょっと風が吹いただけでぶっ倒れそう

[@無名-c1d1w]

@@パワーオブたかし 風かぁ…いいなその考え、面白い

[@reokuzu]

今までで一番と言っても良いぐらい興味深い学習結果。強化学習シリーズ好きなんで今後ともよろしく。

[@Bing-f7n]

人間もまだ最適な移動方法の進化の途中かもね

[@麻婆豆腐-i8m]

深い…

[@krks-ek6fy]

だから逆立ちするのか…

[@ohinpex5028]

だからブリッヂなんて奇妙な体勢を…

[@Justy-heart]

強化学習でここまでの動きはほんとうにすごいです 各報酬の設定も自然で効果的ですねぇ

[@dearhunter8073]

動作として左右が鏡像的に相似なら報酬を増やすとか出来ませんかね？

[@gerald2584]

それなら左右の端が離れるほど報酬を増やせばいいんじゃない？

[@agle_joker]

部位を動かす向きを頻繁に変えるとマイナス報酬を与えるとかはどうでしょう

[@RapidTachikawa]

@@agle_joker それプルプル抑制の罰と競合しちゃうからどうなんでしょう…

[@5-12spc]

体力という概念だけで結構きれいになるよ

[@tmhr610]

なぜ鏡像的に相似なのが良いのかも含めて、報酬を与える理由は論理的である必要あるかと思う。でないと、極論「人間の歩き方に近ければ報酬」としてしまえば良い。そういう意味では、動画の「左右のふとものの動きが逆向きだとプラス報酬」というのも、若干無理やり感がある。論理的な報酬設定があって、「報酬を最大化するために左右のふとものの動きを逆向きにするのが最適」という解をAI自身が見つけるのがベスト

[@烏賊-z5e]

1:55 見ての通り、ぴょんぴょんしてしまいます（ごちうさ民）

[@ohinpex5028]

難民か？取り敢えず捕まえろー！

[@うるお-y1u]

投稿頻度上がってきてるのめちゃくちゃ嬉しい😆😆😆

[@junopha]

辛口コメントの人何度も晒されて…さては結構根に持ってますね？

[@まあ-f2b]

僕も思いました笑

[@とみを-t9y]

私も思いましたw

[@ろしふ]

いや、しょうがないよ 頑張った途中結果を見せたら何も試行錯誤を知らないうえに手伝いもしてない人から上から目線な言葉を吐かれたんだから。

[@たるま-v8p]

我も思いました藁

[@メロ-l3w]

@@ろしふ 毒は吐いてなくないか…

[@田中正造-i9b]

遂にできたね… 次は逆立ち歩行だ()

[@あきひろ-T]

2:57 捻挫した人

[@castella777]

あきひろ え？

[@ryokei4480]

カステラ【毎日投稿】 捻挫して足引きずってるみたいってことでしょ？

[@manabissan-main]

すごい……着々と人間の歩行に近づいていってる！！！

[@Misawa_]

なんで…これの凄さがわからないんだよォ…！！ 理解されないもどかしさはつらい

[@Dモーガン]

AIの出したゾンビ歩法を真似してみたけど、 胴が前を向いてないとめちゃ歩きにくい。 慣れかもしれないけど足がもつれる。 確かにAIは凄い。

[@today8993]

3:26なんか目の前に人参つけられたウマみたいに進んでいくからちょっと笑ってしまった

[@neon-yd6kx]

ホラゲーとかでこんな歩き方してる敵いそうw 歩行AI久しぶりに見れて面白かったです！ これからもこーじさんが納得いくまでの記録を定期的に見たいw

[@見崎未咲]

「歩く」時は身体の重心を移動方向に移動し、故意にバランスを崩すですよね？だからバランスを保つ訓練するのは逆効果では？

[@SlidingGrandpa-b]

倒れて途中で支える。の繰り返しって事ですか？

[@g0scarab]

歩き続けるとなると、姿勢としては /. こんな感じですかね。ピリオドが支える為に前へ出した脚。 連続的に倒れて続けて支え続けるは正解だと思います。

[@5-12spc]

体力の概念追加するだけでけっこうきれいになりますよ

[@empty75769]

いつも面白い動画をありがとうございます！

[@柳風亭駄楽]

ついにやりましたね！ 続編にも期待します。

[@右下段赤七]

まさかこーじ氏が自立歩行AIの先駆者になろうとは、この時点では誰も想像していなかった・・・ なんて夢ですかね？

[@びび-n9k]

体が傾いた時にマイナス報酬を与える。とかどうでしょうか？

[@ExcellentQuartz]

頭を重くしてもいいかもしれませんね🤔

[@びび-n9k]

@@ExcellentQuartz 確かに！

[@湯呑みくん]

あと目的地へのルートは近いほうが報酬を大きくするとか

[@別所拓実]

そうですよね、上半身が地面と垂直なら報酬を与えたり足裏の角度が大きいほど報酬を減らしたりとかまだ行けそうな要素がありますよね

[@焼きそば-f3t]

@@ExcellentQuartz さんの発想スゴイ それなら頭の位置を中心に持ってきますもんね

[@とらとん-f4e]

辛口コメント　根に持ってて草

[@daisuke5427]

マジですごい

[@marumurasyoukai]

上半身の重心移動とか視点位置とか学習させたら滑らかになるかも

[@nasubi1996dg]

自分も学部研究で歩行生成してました 歩行って身体の左右で半周期の位相差があるのでそこを上手く組み込めたらもっと良くなりそうですね！

[@いさかゆり-u3x]

このシリーズ好きやねんな

[@ネコ戦士]

投稿主はまだ知らなかった……。 この成果が完全自律人型ロボットを生み出すためのきっかけになるということを……。

[@T_YoshisaurMunchakoopas]

対軸が垂直に近いほど高報酬とか追加すれば綺麗な姿勢で歩きそうですね

[@vip546]

素直にすげぇって思った

[@TJ-pizza]

仕組みは難しくて自分は理解なかなか出来ないけど、与える前提(条件？)を変えると効率が上がるのって面白いって思った

[@asatomaeda4600]

二足歩行には頭部の安定が大事なので、股関節部位の上に頭部がある状態にあれば報酬を与えるようなプログラムを組むと良いと思いました。

[@ユキジ]

もう何をツイートしても｢まだまだですねー がんばってください！｣って言われそうｗ

[@shishisupa44]

多分足付きの加点狙いで左足引きずってるから片方の足を一定時間地面に置きっぱで減点すれば引きずり問題解決できるかな？

[@arlyumi6340]

おめでとうございます！

[@いさかゆり-u3x]

Arlyu Mi 1個目おめです

[@katsuyukihamamoto]

プルプルしてる時は、いくいくいくっーって感じですね。

[@もじゃろわかめ]

二足歩行ロボットで”つま先があると安定する”みたいな論文あったけど、シミュレーションに組み込めないかな。衝突判定のサンプリングレートと歩行AIの入力レートの相性とかあるんだろうか？

[@ALKANA421]

あぁ…これは根に持ってるなぁ…… まだまだですねー がんばってください！

[@fujishin6281]

す、すごい！ 同時に子の成長を見守る親のような感覚になりました(笑)

[@クラクラ-t9z]

凄い！！歩いてる！！ 胴体の垂直具合とか左右の対象率でも報酬つけるともっとキレイに歩いたりしませんかね？

[@kaytarner8381]

足を互い違いに動かせば報酬を与えるというのは、もはや人間が歩き方を指導してしまっているのに近いのでは？機械学習の面白さから逸脱していると思います

[@user-ld6tv5iy1v]

辛口コメント晒すうp主大好き

[@ミスターステーション]

やっとゾンビみたいに歩けるようになりましたね！ 次は人間みたいに歩けるように頑張ってください！

[@aetos382]

素人考えですけど、ブランコの応用みたいな感じで、手足を振り上げる→逆方向に振る　というのをリズミカルにやることで、エネルギー効率を高めるという観点は無いでしょうか。動画中に「スタミナ」というキーワードも出ていましたが、結果的なフォームだけを見て採点するより、エネルギー消費が大きい動作にマイナス報酬を与えることで、結果的にスムーズな動きになったりしないかなぁ、と。

[@fhssoccerboy7]

大学のK研究室の後輩です。 楽しく見させてもらってます、これからも頑張ってください。

[@freddieforever4180]

最初の40秒でめっちゃ動画の宣伝するやん でも好きやで

[@歩流-v2q]

これはすごい

[@Namae6]

まだまだですね。頑張ってください。

[@33kitaka4]

条件として、今までの左右の交互にプラスして、各関節の動作の出力の順番を手、肘、肩、胸、腹、股関節、膝、かかとの順に、収縮と弛緩を繰り返すように誘導してはいかがでしょうか？

[@本山香-z5p]

エネルギー消費の概念を入れてみてはいかがですか？ 関節を早く動かすと大きくエネルギー消費（関節の加速度に応じて罰を与える） 人間だって歩くのにプルプルしながら歩けるのに一般的な歩行法をとるのは、消費カロリーが少ないからだと思うのです。もちろん恥ずかしいという罰要素もありますが、その概念が薄い子供がそうなるのはおそらく消費エネルギーや疲労といったエネルギーによるものだと思います。

[@mori_no2]

ナンバ歩きとか縮地もやってほしい

[@SiOnigiri]

やっぱり骨格モデルが現実と違いすぎるから。人間らしく歩かせるにはそこから直さないと難しそう 人は視線を保持しながら、三半規管や筋肉の緊張などの感覚で瞬時にバランスを取っているので 本当に人間と同じ歩き方させたら本当にすごいと思います もう少しだと思います頑張ってください！

[@gerald2584]

こうすれば良くね？と思ったこと ・爪先の向きが目標に向いてたらプラス報酬 ・重心が少し前にあればプラス報酬 ・左右の足が地面についてる時間が同じ程プラス報酬 ・両足が同時に地面についてる次回が長い程マイナス報酬

[@shotfj]

歩きはじめたところカワイイ

[@s009kawa]

左右の対称性を取り入れるのはどうでしょうか 学習する時に鏡写しの状態も同時に更新すれば結果としての行動も左右対称で生物に近いものとなり学習速度も2倍になってお得かと

[@ロックZ-e7g]

この歩く人工知能での鬼ごっこシリーズが見てみたいです。

[@A1928K]

・頭と体が一直線であるほど報酬を与える ・頭と体が地面と垂直なほど報酬を与える この辺入れてみるとかありなのかな?? 間違ったらただただ垂直するだけに なりそうだけど、上手く行けばいけるかも??

[@doreamsong-7171]

ようやく成功

[@登録したらプランクトン増量]

これ見ると人間だけ歩くのが二足歩行なのが凄いことに思えてきた

[@kakataro2187]

・胴体は直立であるほど高報酬 ・太ももの(平面座標での)角速度が一定に保たれるほど高報酬 ・その角速度が左右とも同じであるほど高報酬 ってするのはどうですか？？ 特に2個目が実装できれば落ち着いた足取り＆安定した速度になると思う！

[@明智光秀-f8j]

なんか、酔って倒れそうな人→ダンサー→ゾンビ→足がしびれた状態の人。みたいな感じで進化している気がする。

[@hal5414]

人の歩行（とかその他周期運動）はエネルギー消費よりも筋疲労（~=筋活動度^3）を最小化するように行われているという研究があった気がします。筋の出力は筋の断面積*筋活動度となるので、同じ筋疲労でも大きな筋肉と小さな筋肉では出力が変わってきます。ここらへんを組み込んでみたらまた結果が変わるのでは？

[@siina0417]

何も知らない外野からの意見なんですが最初の歩くアニメーションと動きが一致するほど報酬を与えてみてはどうですか？多分人間らしい歩き方になると思うのですが…

[@Zenmai2515]

上半身が後方荷重だと人の歩行にこれ以上近づかないような気が…

[@ponpoponkitikun]

これがゾンビの歩き方の元なんですね(笑)😆

[@ko-ta2157]

おお！奇行種の香りが薄らいでいる！ (少し寂しくもある 笑) これまでの動画のサムネ、全部見覚えが。歴代の歩行学習の証人になれているようでちょっと嬉しいですw

[@haoyangpeng19]

股関節とその周囲筋が歩行時の安定と重心移動を容易にする役割があると思います。ただこの機能を加えるのは難しいのでしょうね。

[@masahira4724]

すごい。。何を削って何を加えるか、ご苦労様です。あと少しが大変ですが」光は見えてますか。

[@a.s6555]

暇だったのでこの歩き方を家で練習してみました。めちゃくちゃ疲れました。 そこで素人目に思ったのですが、使用される筋力の強さが大きいほど罰を与える{あるいは小さいほど報酬を与える}などで無駄な動きを減らすことはできませんか？

[@_yukichi_]

まだまだですねー（発破） 頑張ってください！（本音）

[@ひん名無しの]

まだまだですねー がんばってください！ を書き込みするインターネッツはここですか？？

[@user-omega0119]

質問です 糸は1本だと簡単にちぎる事ができますが、 なぜ、 複数本だと、ちぎることが出来ないのですか？ 小さい頃から疑問に思っていました。

[@花春-n3j]

「まだまだ道は長そうですが頑張ってください」くらいの意味だったんだろうけど どうやらこーじは「まだまだ技術が足りてませんねもう少し頑張ったら？」みたいに受け取ってしまったようだ

[@ShusukeYamane]

競歩のルール(歩行の定義)を取り入れてみたらどうでしょうか？ 足を引きずることなく効率的に歩けると思います

[@deltayou3000]

もっと最適な ルール １頭が地面からのy座標が大きいほど◎ ２足が地面からのy座標が大きいほど× ３スタート地点から離れているほど◎ ４強化学習している人工知能全ての速さの平均値より自分の速さが違うほど× ５ゴールに近いほど◎ ６時速４キロより違うほど× ７片方の足ともう片方の足の距離が遠いほど◎ ８片方の手ともう片方の手の距離が遠いほど◎ ９他の人工知能にぶつかったら罰を与え脱落（どちらも） １０上半身が地面に接触したら罰を与え脱落 環境 目標をランダムに決める 目標に触れたら位置を変える 時間はその時の報酬　ー（経過時間）の絶対値 筋力は普通 脱落したら動かず、倒れる（それにぶつかっても脱落） 次の世代にポーズ及座標リセット 頭と足のセンサーで観測し決める（他人までの距離と方向、ゴールまでの距離と方向、脱落した人工知能の残骸までの距離と方向） ルールの解説 １はきちんと立つように ２ジャンプしないように ３はきちんと動くように ４は速さの差が出ないように ５はきちんと向かうように ６は走らないように ７はテクテクするように ８は手を振るように ９は物を避けるように １０は倒れないように

[@Bing-f7n]

これって歩くことが最適だと仮定して実験してるから　歩行より良い移動方法を見つける実験して欲しい

[@Bing-f7n]

関西弁の欧米人 猿の骨格進化なら長い話だが今の人間の形の最適な歩き方ならできるのではないか？

[@Bing-f7n]

@@すごい-j3l 実験する前からあきらめていたら何も得られないぞ！！今ある発明にはたまたまの思い付きっで生まれたものだって多いんだ！

[@chiwawa8246]

割ときれいに歩けてるのすごいですね！！自分の場合、報酬設計にいろいろ手を加えようとすると、恣意的に決まった動作をさせようとしているように感じてしまい、これじゃないんだけどなぁと思いながらしぶしぶ変える感じですｗ論文名は忘れてしまいましたが、人間の動きを予め教えて、それから強化学習を行う、という手順を行うことで、人間らしい動きをさせながら、報酬に沿った動きができるというのを以前見ました。

[@Si-tc5ix]

AIに動作を組み込める人って凄いんだな… 試行錯誤の賜物ですね！

[@shoji2444]

腰から頭までの線がまっすぐで左右に傾かず、やや前傾を保つように報酬を調整してみたらどうでしょう？

[@dannachallenge]

頭の動きが少ないと報酬ってのはいかがですか？

[@harisumaru]

めちゃめちゃ面白いです。 AI同士で格闘技をさせることはできますか? もしくはAIに究極のストレートの打ち方を学習させることはできますか? いったいどんなフォームで打つんでしょうか。

[@テンス-u1i]

体の軸がずれないようにできたら見栄えもいいんだけど 難しいんだろうなぁ

[@mori_no2]

頭の位置を動かさないも加えたらどうだろう？

[@深山幽谷-m3n]

体幹部を見ていて感じたのですが、関節の回旋は変数に含まれているでしょうか？ ねじれが生じない設定ですと、リンボーダンスの動きが最も効率的なのは明らかです。 また、筋肉の遠心性収縮は許容していますか？など… すでに検討されているかもしれませんが、機能解剖の知識が入るともう少し進歩が期待できると思います。 人体の歩行はフィードフォワード機構であり、フィードバック機構の強化学習では限界があるとは思いますが、これからも応援しています！

[@ななみく-l3d]

歩行のリズム修正案 左右の足の接地時間が同じほど＋報酬 左右の足先の速度が同じほど＋報酬 左右の太腿の角速度が同じほど＋報酬 頭の移動軌跡が縦波に近いほど＋報酬

[@kakataro2187]

1秒に20回指示するってことらしいので、1つめと2つめの案は両足とも地面に接地させたり両足前に出したりしてしまうかと。 した二つはありだと思います！

[@TlI676]

転んだときのマイナス報酬を、地面に衝突する速度から計算するのはどうですか？ 無理に走ると転んだときのマイナス報酬が大きくなるから、慎重になってくれるのでは

[@kk-ru6sy]

摺り足に近い動きになってますね。腰が捻れない状況で重心を安定させようとするからでしょうか？

[@kowyama7989]

正解が分かっていることが前提のパラメータ設定ですね。 やはり，そうでないと無理なのか…

[@oao-qy5bc]

隙間なく水を強く押したらどうなりますか？後どれくらい隙間がキツければダイヤモンドの壁が壊れるんですか？

[@タカハギファンド]

広大な実験場（地球）で人が試行錯誤しながら学習するのを、薄ら笑い浮かべながらのんびり眺めてるかみさまの気分

[@T0t4nt4n3]

素晴らしいですね！ 憶測なのですが、体の軸が安定しているほど報酬を得られるようにすると、横揺れ等なくなるのではないでしょうか

[@雲-f9p]

なるほどそれいいかも

[@chentwork]

様々な速度で出来た物を組み合わせたらもっと安定したりするのかなぁ

[@popolistpopolyer1799]

報酬条件の「左右の足を交互に動かす」に「この時、前に出した足が反対側の足の前に出ると報酬が増える」ようにすれば足をひきずらないかも？

[@yoshinorihashimoto8960]

左右のブレが少ない、グループの中で最速で目的につくと得点が入る。とかも入れるともっと良いかもしれませんね。

[@Escarlata0621]

頭と腰が一直線かつ重力に平行という条件を追加してみてはどうでしょう？ 仮にそうすれば坂道を登れるようになったりする可能性はあるでしょうか？

[@仏イム-b1k]

歩行動作というのは、目の位置が向き・高さ共に安定するように最適化されているのではないでしょうか。