【リメイク版#2】ChromeDriverによるレースid一覧のスクレイピング【競馬AI開発】

[@user-ej3zj6kv9z]

📘動画中のソースコードや補足解説はこちら note.com/dijzpeb/n/ne35b302a9fb5 📘目次 0:00 はじめに 1:42 BeautifulSoupが使えないのか？ 5:30 ChromeDriverの楽な設定方法 9:20 レースid取得の流れ 17:30 scrape_race_id_list()の作成 34:00 notebookの自動リロード方法

[@user-br6ey2bn6h]

リメイク版で再履修しています。 #1で作業内容をまとめた.pyファイルを作成しました。その中にはうurlopen等のモジュールのimport文も記述されています。 #2の作業をするために作成した.pyファイルをimportしたのですが、urlopen等がdefinedと表示されます。 自作モジュールをimportしてもimportしたファイル内のimportは適用されないのでしょうか？pythonの初歩的な質問で申し訳ありません

[@user-ej3zj6kv9z]

> #2の作業をするために作成した.pyファイルをimportした →このimportをした場所で、Pythonの環境が選択されていない可能性があります。直接import urlopenを実行するとどうなりますか？

[@nozomi4829]

質問失礼します。 notebookの自動リロード方法の項目で %load_ext autoreload記述後、リスタートしますがその際に race_id_list = scraping.scrape_race_id_list(kaisai_date_list[:10]) の起動で関数内で定義した変数はほかの関数で使用できないので NameError: name 'kaisai_date_list' is not definedが起こると思うのですが 動画ではなぜ発生していないのでしょうか。

[@user-ej3zj6kv9z]

36:24で、kaisai_date_listをもう一度定義しているので、使えるようになっています！（該当箇所ここで合っていますか？）

[@nozomi4829]

@@user-ej3zj6kv9z 回答ありがとうございました。 dev.ipunbでしっかり定義されていましたね。私が見逃していました。

[@user-mf5rn5qk1i]

お疲れ様です。いつも勉強になる動画ありがとうございます。 質問失礼いたします。 数日前から、race_id_list = scraping.scrape_race_id_list(kaisai_date_list)を実行した際に、 [WinError 193] %1 は有効な Win32 アプリケーションではありません。というエラーが出るようになってしまいました。 ---> 61 with webdriver.Chrome(service=Service(driver_path), options=options) as driver: にハイライトが当たっていたので、 動画内のchromeとwebdriverのバージョン不一致かな？と思い、以下のように合わせたのですが、解消せずに困っています。 思い当たる原因ありますでしょうか？ =================== chromedriver 127.0.6533.99 chrome 127.0.6533.100 selenium 4.21.0 webdriver-manager 4.0.1 ===================

[@user-ej3zj6kv9z]

サポート遅くなりましたmm webdriver-managerが、THIRD_PARTY_NOTICES.chromedriverを読み込んでしまっていることが原因で、4.0.2で解消されたので、アップデートすることで解決できます pip install webdriver_manager==4.0.2 また、すでに4.0.1でchromedriverがインストールされている場合は、driver_pathを参考に一度削除してから再度4.0.2を利用してみてください。

[@user-lx7rd6vn1o]

driver.get(url)を実行すると NoSuchWindowException: Message: no such window: target window already closed from unknown error: web view not found のエラーが出るのですが対処法はないでしょうか？

[@user-ej3zj6kv9z]

エラー文を見る感じ、driverが閉じられている気がします。 もう一度driverを起動するところから実行し直してみるとどうなりますか？

[@user-lx7rd6vn1o]

@@user-ej3zj6kv9z ありがとうございます。解決しました。 自分でWindow消してしまってました。

[@ruru_healthlife8230]

質問失礼致します。 driver = webdriver.Chrome(service=Service(driver_path))を実行すると、 以下のエラーがでます。この原因がわかればご教示お願いいたします。 TypeError Traceback (most recent call last) Cell In[9], line 1 ----> 1 driver = webdriver.Chrome(service=Service(driver_path)) TypeError: WebDriver.__init__() got an unexpected keyword argument 'service'

[@user-ej3zj6kv9z]

webdriver_managerのバージョンの問題な気がします。 4.0.0以上に上げてみるとどうでしょうか？

[@ruru_healthlife8230]

@@user-ej3zj6kv9z webdriver_manager はversion: 4.0.1でした。他になにか考えられますか？投げやりで申し訳ございません。

[@ruru_healthlife8230]

@@user-ej3zj6kv9z すみません、ブラウザが開くようになりました。webmanagerのversionではなく、seleniumのversionがなぜか3.141.0になっておりました。そのため、一度アンインストールし、pip install selenium==4.21.0を実行→再起動したら、ブラウザが開くようになりました！お騒がせしてすみませんでした。

[@ruru_healthlife8230]

すみません、ブラウザが開きました。seleniumのversionがなぜか 3.141.0 になっておりました。 そのため、アンインストールしてから、pip install selenium==4.21.0を実行したら改善しました！ お騒がせしてすみませんでした、、、

[@user-ej3zj6kv9z]

実行できて良かったです！また何かあればお気軽に聞いてください！