MONTH

2021年8月

python [requests]処理時間の間隔をランダムにしてみた。
  • 2021-08-18
  • 0件

[requests]処理時間の間隔をランダムにしてみた。

リクエスト時に相手のサーバーに負荷をかけないように、一定時間（１秒以上）間隔をあければ、それで良いと思っていました。 ですが、スクレイピングの際、できるだけ人間が行ったように見せるのが良いとされています。 なので、より人間に近づけるなら、ランダムの方がいいかなとふと思いました。 以下のサイトを参考に […]

続きを読む
python 【Beautifulsoup】時間の間隔をあける必要はないから、time.sleep()は必要ないですよね
  • 2021-08-18
  • 2022-02-22
  • 0件

【Beautifulsoup】処理時間の間隔をあける必要はないから、time.sleep()は必要ないですよね?

スクレイピングを行うライブラリはいくつかありますが、「requests」と「Beautifulsoup」ライブラリを組み合わせて行うことが多いように思います。 「requests」 でデータを取得し、 「Beautifulsoup」 でデータを抽出するという流れです。 「requests」 には多か […]

続きを読む
python 【python】数値のみを抽出したい。
  • 2021-08-17
  • 2022-02-22
  • 0件

【python】スクレイピング後に数値のみを抽出したい。

スクレイピングしたデータを解析したいとき、数値のみを抽出したいことがよくあります。 例えば以下のサイトでFG（フィールドゴール）の確率を取り出したいと思います。 〇シュートの「確率」を知っておけばNBAが200倍よく解る import time from bs4 import BeautifulSo […]

続きを読む
python 非同期処理サイトをスクレイピングしてみた
  • 2021-08-14
  • 2022-02-22
  • 0件

非同期処理サイトをスクレイピングしてみた。

＊不完全な記事です。 目的 ブラウザ上で取得したいサイトを見ていると、非同期処理していることに気づかず、requestsライブラリを使用すると、同期処理されていない部分の情報を取得できなかった。そこで、今回は非同期処理サイトのスクレイピング方法を見つたいと思います。記録のために試行錯誤の順で記事を書 […]

続きを読む
python 【python】アンドロイドを使って、googleスプレッドシートに格納した、URLをwebdriverを使って自動で開きたい！～termuxとteamviewerとpydroid3とAppium～
  • 2021-08-14
  • 2021-08-14
  • 0件

【python】アンドロイドを使って、googleスプレッドシートに格納した、URLをwebdriverを使って自動で開きたい！～termuxとteamviewerとpydroid3とAppium～

はじめに アンドロイドを使用して、pythonを実行させるために、「teamviewer」は必要はありませんが、PCからアンドロイドを操作できた方が便利なので、「teamviewer」をダウンロードしました。 PCからアンドロイドを操作するのは非常に難しいと思っていましたが、「teamviewer」 […]

続きを読む
python sqliteに必須の知識osモジュール。作業ディレクトリを下の層に移動させる。
  • 2021-08-14
  • 2021-08-14
  • 0件

sqliteに必須の知識osモジュール。作業ディレクトリを下の層に移動させる。

私は「jupyter lab」を使用して、pythonのプログラムを書くことが多いです。 sqlite3を使用すると、作業フォルダー内に大量のデータベースが保存させるため、作業フォルダを変更させたいと前から思っていました。 osモジュールを使用すると、簡単に作業ファイルを移動することができたのでご紹 […]

続きを読む