リメイク版の前のシリーズでもあまり詳しく取り上げられていなかったので、作成したモデルで実際に予測する流れとかどういうスコアの馬に賭けるかとかを見たいです！

毎回更新を楽しみに視聴しております。競馬素人なのですがコースの特徴量で「コース替わり」とか「開幕週」を入れても良さそうな気がしました。芝の状態も予想要因の一因になると聞いたことがあります。

神コンテンツ

📘動画中のソースコードや補足解説はこちら note.com/dijzpeb/n/n3dec8db074f8 📘目次 0:00 今回やること 3:12 血統データのスクレイピング 14:04 血統テーブルの前処理 20:03 リーディングテーブルの前処理 34:46 特徴量作成 44:29 血統データの学習・精度検証 47:08 レース種別（芝/ダート/障害）ごとの成績特徴量の検証 📘関連動画 kzbin.info/www/bejne/iaqVanSoidR3p5Y

素晴らしい！ それにしても変数を見つけてテストしていくのが大変ですね。 単勝いいですね。

たのしくくりかえし拝見しています。

特徴量の作成も面白いですが、最後に触れていたデータの分析も興味あるので早く見たいです！お時間許せばお願いします！

特徴量が増えすぎてついにメモリ不足のエラーが出ました（笑）

当日予測処理の予測でエラーとなります。 noteと動画を見返してますがわからないので教えていただきたい。 また、features_prediction.csvの中には1行めの情報しか入ってません。 わかりやすい説明をしていただけると助かります。よろしくお願いします。

6:00 リスト内包表記 43:00 yaml小技 odds,popあり 0.205 なし 0,225

こんばんは、とても勉強になる動画ありがとうございます。 一つご質問あります。レースクラスはどのデータを使ってクラス分けされていますか？ お時間あるときでいいので回答お願いします。

27:45 検索一括コメントアウト 11:00 データの抽出 0.221

これってiPhoneでも可能ですか？

質問です。 期待値を求めるためにpredの値を利用することを試みていますが、人気のない馬もある程度predが高い（数％程度）のでオッズと掛け合わせるととても大きな値になってしまいます。 （例：オッズが400倍の馬のpredが0.05程度あり、掛け合わせると20程度になる。） このせいで最低人気の馬ばかり期待値が最大となる。 問題はpredの値が満遍なく高いことにあります。 何とかpredのばらつきを大きくしようとハイパーパラメータの調整を試みましたが今一つこの問題を解決できません。 下位予想の馬のpredを下げる方法についてアイデアをいただきたいです。

flake8とblack formatterのインストールはできたと思うのですが設定に出て来ません。 どうしたらいいですか？ 調べてもわからなかったため質問させていただきました。

ページの読み込みとデータの抽出をひとつの関数にされてます。 これはわけてもよいですか？ それとも分けない方がいいですか？ 参考意見で伺いました。

実行して結果を確認いたしました。 ありがとうございます。 時間のある時の返信で結構ですので 疑問がでましたら質問をさせて頂きます。 よろしくお願いいたします。

素晴らしい。 最高すぎる。

📘動画中のソースコードや補足解説はこちら note.com/dijzpeb/n/n5cdec019f163 📘目次 0:00 はじめに 2:35 走破タイムの抽出 10:57 「同距離の最速タイム特徴量」の検証 28:48 「レース階級, 開催場所, etc. ごとの成績特徴量」の検証 📘関連動画 kzbin.info/www/bejne/iaqVanSoidR3p5Y kzbin.info/www/bejne/nHWwn4B7i76bkLs

欲しい特徴量きました！！ ありがとうございます

素晴らしい！ 面白く見ています。

払い戻しテーブルの前処理 df [["0", "1", "2"]] * replace(" (-|→) ", "-", regex=True) * replace",",””, regex=True) * apply (lambda x: x.str.split()) * explode( ["1", "2"]) * explode ("0") * apply (lambda x: x.str.split ("-")) * explode (["0", "2"]) Attribute error:can only use .ate accessor with string values! とエラーになります。 なぜでしょう？

的中率、回収率の結果が少し低いのですが、、、 これまで同じコードでやっていますが。。

素晴らしい作業だ。 全動画、見ています。

単勝以外の回収率の精度は改善しましたか？

21:18 valid,testデータ切り分け

36:50どんな馬券を当てているか

自分用 2:40〜出馬表スクレイピング html→race_id→horse_id→スクレイピング 当日に出馬表から情報を取ってきて予想する際のコード作成 .values()→値を指定する。

自分用 6:00〜予想スコア上位の馬のボックスを買った場合のテーブル作成「包含関係」 23:00〜クラスにまとめる 払い戻しテーブルの下処理と種々の計算処理、データフレーム処理を学べる

質問失礼します。 noteの最新を買えば第１回からのコードが全て載ってるのですか？ 最新版を購入し、不明な箇所があればその記事を買って行くという認識で合ってますか？

予測結果に馬の名前も出力したいのですがどうすればいいでしょうか？

📘動画中のソースコードや補足解説はこちら note.com/dijzpeb/n/naf20bcde7777 📘目次 0:00 はじめに 1:52 騎手の過去成績データの取得 24:22 騎手の過去成績テーブルの前処理 31:50 騎手の過去成績を使った特徴量作成 43:54 学習・精度評価 51:20 調教師リーディングの追加 📘関連動画 kzbin.info/www/bejne/iaqVanSoidR3p5Y

いつもありがとうございます。create_return_tablesの処理結果の間に0.1 1.1 2.1 3.1 0.2 1.2 2.2 3.2 0.3 1.3 2.3 3.3 0.4 1.4 2.4 3.4 0.5 1.5 2.5 3.5（これらの下は空欄）が入ってしまいます。対処方法をおしえていただけませんか？

ダウンロードしたソースコードに自分で考えた特徴量を追加して実験しているのですが、学習の段階でエラーが出てしまいます。 chatGPTに投げたところ、「train.py の Trainer クラスの run メソッド内で、test_df が空であるか、2次元データフレームでない場合に発生します。具体的には、LightGBM の predict メソッドに渡されるデータが空であることが原因です。」と返ってきます。 これは作った特徴量に問題があるということでしょうか？ また、精度評価の関数はエラーなく動くのですがどうしてでしょうか？このあたりの使い方が理解できていません。 evaluator = Evaluator() summary_df = evaluator.summarize_box_exp(exp_name="model") summary_df ーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーー Trainエラー内容↓ trainer = Trainer() evaluation_df = trainer.run( valid_start_date="2022-10-01", test_start_date="2023-01-01" ーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーー ) { "name": "ValueError", "message": "Input data must be 2 dimensional and non empty.", "stack": "--------------------------------------------------------------------------- ValueError Traceback (most recent call last) Cell In[43], line 2 1 trainer = Trainer() ----> 2 evaluation_df = trainer.run( 3 valid_start_date=\"2022-10-01\", 4 test_start_date=\"2023-01-01\" 5 ) File c:\\Users\\81904\\python\\keibaAI-v3-yt-main\\feature\\src\\train.py:125, in Trainer.run(self, valid_start_date, test_start_date, importance_filename, model_filename, evaluation_filename) 118 \"\"\" 119 学習処理を実行する。 120 test_start_dateをYYYY-MM-DD形式で指定すると、 121 その日付以降のデータをテストデータに、 122 それより前のデータを学習データに分割する 123 \"\"\" 124 self.create_dataset(valid_start_date, test_start_date) --> 125 evaluation_df = self.train( 126 self.train_df, 127 self.valid_df, 128 self.test_df, 129 importance_filename, 130 model_filename, 131 ) 132 evaluation_df.to_csv( 133 self.output_dir / evaluation_filename, sep=\"\\t\", index=False 134 ) 135 return evaluation_df File c:\\Users\\81904\\python\\keibaAI-v3-yt-main\\feature\\src\\train.py:102, in Trainer.train(self, train_df, valid_df, test_df, importance_filename, model_filename) 90 # テストデータに対してスコアリング 91 evaluation_df = test_df[ 92 [ 93 \"race_id\", (...) 100 ] 101 ].copy() --> 102 evaluation_df[\"pred\"] = model.predict( 103 test_df[self.feature_cols], num_iteration=model.best_iteration 104 ) 105 logloss = log_loss(evaluation_df[\"target\"], evaluation_df[\"pred\"]) 106 print(\"-\" * 20 + \" result \" + \"-\" * 20) File c:\\Users\\81904\\Downloads\\anaconda\\Lib\\site-packages\\lightgbm\\basic.py:4748, in Booster.predict(self, data, start_iteration, num_iteration, raw_score, pred_leaf, pred_contrib, data_has_header, validate_features, **kwargs) 4746 else: 4747 num_iteration = -1 -> 4748 return predictor.predict( 4749 data=data, 4750 start_iteration=start_iteration, 4751 num_iteration=num_iteration, 4752 raw_score=raw_score, 4753 pred_leaf=pred_leaf, 4754 pred_contrib=pred_contrib, 4755 data_has_header=data_has_header, 4756 validate_features=validate_features, 4757 ) File c:\\Users\\81904\\Downloads\\anaconda\\Lib\\site-packages\\lightgbm\\basic.py:1139, in _InnerPredictor.predict(self, data, start_iteration, num_iteration, raw_score, pred_leaf, pred_contrib, data_has_header, validate_features) 1130 _safe_call( 1131 _LIB.LGBM_BoosterValidateFeatureNames( 1132 self._handle, (...) 1135 ) 1136 ) 1138 if isinstance(data, pd_DataFrame): -> 1139 data = _data_from_pandas( 1140 data=data, 1141 feature_name=\"auto\", 1142 categorical_feature=\"auto\", 1143 pandas_categorical=self.pandas_categorical, 1144 )[0] 1146 predict_type = _C_API_PREDICT_NORMAL 1147 if raw_score: File c:\\Users\\81904\\Downloads\\anaconda\\Lib\\site-packages\\lightgbm\\basic.py:814, in _data_from_pandas(data, feature_name, categorical_feature, pandas_categorical) 807 def _data_from_pandas( 808 data: pd_DataFrame, 809 feature_name: _LGBM_FeatureNameConfiguration, 810 categorical_feature: _LGBM_CategoricalFeatureConfiguration, 811 pandas_categorical: Optional[List[List]], 812 ) -> Tuple[np.ndarray, List[str], Union[List[str], List[int]], List[List]]: 813 if len(data.shape) != 2 or data.shape[0] < 1: --> 814 raise ValueError(\"Input data must be 2 dimensional and non empty.\") 816 # take shallow copy in case we modify categorical columns 817 # whole column modifications don't change the original df 818 data = data.copy(deep=False) ValueError: Input data must be 2 dimensional and non empty." }

夜分にすみません。いつもありがとうございます！ ＃９あたりであったレースの予想をする際に、feature_engineeringの中のfetch_resultsとfetch_shutubaのところで予想レースをfeatures = pfc.create_features( race_id="202407020806", # 予測するレースidを指定 skip_agg_horse=True # 事前に集計した場合はスキップできる )でやってもwakubanがとれなくなって予想できません。以前はできていたのになぜか教えていただけないでしょうか？あと、対処法もお願いします。

いつも勉強になる動画ありがとうございます。このシリーズで作った特徴量でlightgbm以外のライブラリを使った学習や予測を行うことってできますか？（例えばKerasなど）

MacでPythonをインストールする際、 Anaconda*JupyterLab AnacondaxVSCode PyenvxPoetryxVSCode のどれで作業したら良いか教えてください！ note買った場合でもGitHubの招待受け入れてもらえますか？

📘動画中のソースコードや補足解説はこちら note.com/dijzpeb/n/n67ef63cf345f 📘目次 0:00 ダイジェスト 1:08 今回やること 5:01 LightGBMの主要なハイパーパラメータと、その意味 9:53 プロはどの程度の値に設定しているか？ 20:04 過学習対策に必須な「Early Stopping」とは？ 25:08 ハイパーパラメータを自動調整する「optuna」とは？ 📘関連動画 kzbin.info/www/bejne/iaqVanSoidR3p5Y kzbin.info/www/bejne/eHS7m5SLqd-jn7M

LightGBMが競馬予想AIに最も適しているのでしょうか？どのような理由でLightGBMを選ばれましたか？ また、いろいろなタイプの機械学習で試す予定はありますか？

自分用 13:20 予測結果を評価 15:25 dfの抜出 16:49 予測結果の並び替え。評価の高い順 　　　的中率、回収率の算出 20:53 1番人気以外の馬の回収率 23:00〜lightgbmの解説

コメントアウト Ctrl f (- .*〇〇) # $1 Ctrl / 22:46特徴量をyamlに追加

13:32の場面、「# 既存データにないhorse_idのデータ」とキャプションが入りますが、「新規データに無いhorse_id」が正しいのではないでしょうか？ 細かいところですが、こんがらがってしまっています。

いつもありがとうございます、 特徴量について色々試してみようと思い、ドメイン寄りのものとして上がりと4角の位置を入れて、統計量も入れたのですが、loglossはむしろ悪くなってしまいました・・・（上がりは絶対効くと思ってたのですが…） 次に自作している情報収集ツールでもやっていることを入れようと思い、 特徴量の各行（あるレースに出走する各馬）について、馬ごとにレース日よりも過去レースの成績を集計して以下の特徴量を追加してみたいと考えています ・同距離最速時計 ・該当レースと同コースの複勝率(%) ・同距離複勝率(%) ・該当レースと同じ回りの複勝率(%) commonのhorse_results.csvにそういった各列を追加できないかと細々と試していますが、いかんせん不慣れで難しく。 気が向いた際に投稿者様の方での実装をご検討いただけますと幸いです〜🙏

v3のソースコードはgithub上で公開されていますか？ v2のgithubリポジトリには参加済みで、v3の最新がありましたらgithub招待お願いしたいです

お疲れ様です。いつも勉強になる動画ありがとうございます。 質問失礼いたします。 数日前から、race_id_list = scraping.scrape_race_id_list(kaisai_date_list)を実行した際に、 [WinError 193] %1 は有効な Win32 アプリケーションではありません。というエラーが出るようになってしまいました。 ---> 61 with webdriver.Chrome(service=Service(driver_path), options=options) as driver: にハイライトが当たっていたので、 動画内のchromeとwebdriverのバージョン不一致かな？と思い、以下のように合わせたのですが、解消せずに困っています。 思い当たる原因ありますでしょうか？ =================== chromedriver 127.0.6533.99 chrome 127.0.6533.100 selenium 4.21.0 webdriver-manager 4.0.1 ===================

3:26レーステーブルの「上り」と「通過」の情報が取得されないのはなぜでしょうか。 この情報から直線での決め手を評価したいのですが、[0]以外のテーブルにも見当たらず困っています。

📘動画中のソースコードや補足解説はこちら note.com/dijzpeb/n/n12e6f02db76a 📘目次 0:00 ダイジェスト 0:35 今回やること 2:18 特徴量追加の4つのパターンとは？ 6:54 集計特徴量追加の流れ 22:05 集計特徴量追加の実験方法 📘関連動画 kzbin.info/www/bejne/iaqVanSoidR3p5Y

いつもありがとうございます。素晴らしい動画です。 pd.concatメソッドは、第一引数にt.List[pd.DataFrame]型だけでなく、t.Dict[str, pd.DataFrame]型も指定することができ、自動でマルチインデックスなDataFrameなります。 さらに加えると、importする順番は標準搭載されているライブライから、pipインストールしたライブラリ、自作したライブラリの順に記載するとさらによいです。

いつも参考にさせてもらってます。 scraping.scrape_race_id_list()を実行したところ OSErrorとなってしまいました 対処方法とかあるのでしょうか？

完全版を7/27に購入して、領収書をメールで送付しています。Githubへのリンクの通知をよろしくお願いいたします。