Pythonでサイトに掲載ある大量のリンク先URLを取得する方法｜PythonでWebスクレイピング第02回

[@YK-pl1hq]

いつも勉強させていただいてありがとうございます 今私は、ログインするサイトでスクレイピングに挑戦しているのですが、ログインした後のURLを.current_urlでURLを取得して、requestsとBeautifulSoupの記述をしているのですが、「セッションタイムアウトが発生しました」というログインし直さなければいけないところのHTMLを取得してきている様なんです。しかし.current_urlで取得したURLを見ると正しいURLが取得できています。browser.get()で開き直しても正しいページが開きます。何か解決策はないのでしょうか？

[@風早紬]

最後のcsvファイルに書き出す際に、文字化けが起こってしまう方は、encoding='shift-jis'にしたらできました

[@k09-k3u]

いつも楽しく拝見させていただいております。自分はPythonを用いて画像処理を行いたいと思っているのですが、講義をしていただけないでしょうか？

[@kinocode]

承知しました！進めていきますね！

[@ちゃんかま-p8x]

とても有益な動画、ありがとうございます。NG集からは撮影の大変さが伝わってきました。でも思わず笑ってしまったのは内緒です・・・。

[@kinocode]

ちゃんかまさん、いつもTiwtterなどでもありがとうございます。コミュニティでもよろしくお願いします。

[@bitrans4274]

findでclass指定しても引っかからない場合の原因って何がありますかね？

[@ピエロマスター-z6r]

いつも楽しく拝見させて頂いています。NG集見ると人間味が伝わってきてさらに好印象ですよ。これからもよろしくお願いします。

[@kinocode]

この動画にもNG場面を追加しています…。笑

[@daikick634]

わかりやすかったです。他のスクリプトと大きくメソッド名が変わらなくて取っつきやすそう。データフレームの辞書型の部分が理解できなかったので別の動画で勉強させていただきます！

[@naatooo_]

勉強になります！ 一行ごと何をしているのか理解することを意識して勉強します！

[@kinocode]

はい！頑張ってください！

[@misogi_0202]

ちょうど、今欲しかった動画や。

[@kinocode]

よかったで。今週ももう1本だすで。

[@Masami-Diet]

とても分かりやすいですね。勉強中なので助かります！

[@ウカノミタマ-o1u]

めっちゃ助かりました！

[@ソウ-d7x]

彼は教え続ける、全ての人類にプログラミングを教え込むまで、、、。

[@kinocode]

教えて教えて教えまくります。だだだっ！

[@コアラのマーチあはは]

進撃みたいな言い方ｗｗｗ

[@nett6116]

総務省管轄のサイト20万ページ分からスクレイピングしても良いですか？

[@kinocode]

どういう仕様でWebスクレピングをするのか総務省に確認してから実施しましょう。

[@iruka_kawaii]

今回も詳しくありがとうございました！！ただ、気になった点がございます。スクレイピングについて禁止しているサイトもございます。「スクレイピング禁止と書かれているサイトはやめましょう」という一言がありませんでしたが、こちらいかがでしょうか？ また、学んだ技法を他のサイトで使う場合、スクレイピングが禁止されてないサイトで使うこととなります。キノコードさんの学習用サイト以外で使えるサイトをぜひご教示お願いいたします。