CATEGORY

python

  • 2021-09-07
  • 2022-02-22
  • 0件

【python】自動でシャットダウンする方法。

プログラムを実行してから、自動でパソコンの電源を切りたいことがあると思います。 以下のコードを実行すれば、自動でシャットダウンすることは可能です。 ただ、私は「jupyter lab」を正しい手順で閉じてから、パソコンをシャットダウンしたいと考えました。 〇図解!Jupyter Labを徹底解説!( […]

  • 2021-08-18
  • 0件

[requests]処理時間の間隔をランダムにしてみた。

リクエスト時に相手のサーバーに負荷をかけないように、一定時間(1秒以上)間隔をあければ、それで良いと思っていました。 ですが、スクレイピングの際、できるだけ人間が行ったように見せるのが良いとされています。 なので、より人間に近づけるなら、ランダムの方がいいかなとふと思いました。 以下のサイトを参考に […]

  • 2021-08-18
  • 2022-02-22
  • 0件

【Beautifulsoup】処理時間の間隔をあける必要はないから、time.sleep()は必要ないですよね?

スクレイピングを行うライブラリはいくつかありますが、「requests」と「Beautifulsoup」ライブラリを組み合わせて行うことが多いように思います。 「requests」 でデータを取得し、 「Beautifulsoup」 でデータを抽出するという流れです。 「requests」 には多か […]

  • 2021-08-17
  • 2022-02-22
  • 0件

【python】スクレイピング後に数値のみを抽出したい。

スクレイピングしたデータを解析したいとき、数値のみを抽出したいことがよくあります。 例えば以下のサイトでFG(フィールドゴール)の確率を取り出したいと思います。 〇シュートの「確率」を知っておけばNBAが200倍よく解る import time from bs4 import BeautifulSo […]

  • 2021-08-14
  • 2022-02-22
  • 0件

非同期処理サイトをスクレイピングしてみた。

*不完全な記事です。 目的 ブラウザ上で取得したいサイトを見ていると、非同期処理していることに気づかず、requestsライブラリを使用すると、同期処理されていない部分の情報を取得できなかった。そこで、今回は非同期処理サイトのスクレイピング方法を見つたいと思います。記録のために試行錯誤の順で記事を書 […]

  • 2021-08-14
  • 2021-08-14
  • 0件

【python】アンドロイドを使って、googleスプレッドシートに格納した、URLをwebdriverを使って自動で開きたい!~termuxとteamviewerとpydroid3とAppium~

はじめに アンドロイドを使用して、pythonを実行させるために、「teamviewer」は必要はありませんが、PCからアンドロイドを操作できた方が便利なので、「teamviewer」をダウンロードしました。 PCからアンドロイドを操作するのは非常に難しいと思っていましたが、「teamviewer」 […]

  • 2021-08-14
  • 2021-08-14
  • 0件

sqliteに必須の知識osモジュール。作業ディレクトリを下の層に移動させる。

私は「jupyter lab」を使用して、pythonのプログラムを書くことが多いです。 sqlite3を使用すると、作業フォルダー内に大量のデータベースが保存させるため、作業フォルダを変更させたいと前から思っていました。 osモジュールを使用すると、簡単に作業ファイルを移動することができたのでご紹 […]

  • 2021-06-05
  • 2022-02-22
  • 0件

【python】並列処理の強制終了の方法はどうするの?

現在、私は「jupyter lab」を使用して、pythonのプログラムを実行しています。 以下の無限ループのコードを実行してみます。 while True: time.sleep(2) print("hello") このコードを強制終了させるときは、「■ボタン」や「Ctrl+c」で強制終了させるこ […]

  • 2021-05-11
  • 2021-05-11
  • 0件

【sqlite3】for文を使用して、複数列に文字列を挿入したい。

デモなどで「INSERT INTO」文でデータベースに複数列入れることがよくあると思います。しかし、実践ではfor文も組み込んで行うことがあると思いますが、デモではあまりありません。 以下のコードのようにfor文の中に「INSERT INTO」文をを組み込んで、実行するとエラーが発生します。 imp […]

  • 2021-05-09
  • 2021-05-11
  • 0件

「pickle」を使用してみた。

「pickle」は日本語で「漬物」という意味になります。pythonのデータをそのままの形で保存することできます。データベースとは異なります。 import pickle import time import requests headers = {"User-Agent":""} from bs4 […]

  • 2021-05-09
  • 2021-08-14
  • 0件

株価をスクレイピングしてGspredSheetに出力してみた。

目的 以下のサイトから株価のデータを取得し、GspreadSheetに入力したい。○株式投資メモ 1305 ダイワ *完成コードは最後に表示しています。 tableのheadを取得する <thead>は「table header」の略で、表の水平方向をグループ化するタグになります。○th […]

  • 2021-05-09
  • 2021-05-09
  • 0件

【python】sqlite3を使用して、if文とfor文を組み合わせて、UPDATEを成功させる。

題名にも書きましたように、sqlite3を使用して、「INSERT INTO」でデータベースに格納したものを、「UPDATE」で更新させたいと思います。 リストにマイケル、バックエル、マホーンという人物を格納する。マイケルのみ、「私が主人公のマイケルです」と更新されるようにする。 まずは以下のコード […]

  • 2021-05-06
  • 2021-05-06
  • 0件

「python」でLINEにメッセージを送る。

不気味なアイキャッチ画像ですが、気にしないでください。 以下の動画を参考にして、「python」でLINEにメッセージを送りたいと思います。 ○【LINEチャットボット作成】毎朝美女からメッセージが届く方法をわかりやすく解説!Python×Messaging API×GitHub Actions つ […]

  • 2021-05-06
  • 2021-05-06
  • 0件

【SQL】for文でスクレイピングで取得した情報をデータベースに格納する。

前回は、スクレイピングした情報をデータベースに格納することができました。 ○【python】SQLite3でスクレイピングした記事をデータべースに保存する。 今回は、複数の記事をsqlite3を使用して、データベースに格納していと思います。 実行したものの、自分の思った通りに実行しているのかわからな […]

  • 2021-05-02
  • 2022-02-22
  • 0件

【python】SQLite3でスクレイピングした記事をデータべースに保存する。

前書き 最近、ブログを書かずに、pythonの勉強のみに専念していました。しかし、自分が思うよう学習を進めることができず、行き詰まりことが多く、集中が途切れていました。おそらく、プログラミングで自分がやりたいことを明確できていないからだと思います。分からないことをネットで調べていると脱線して、自分が […]

  • 2021-02-18
  • 2021-02-20
  • 0件

「python」と「GoogleSpreadSheet」の連携の初期設定でつまずいた箇所。

〇PythonでGoogleスプレッドシートの作業を一瞬で終わらせる|プログラミングによる自動化仕事術○PythonでGoogleスプレッドシートの情報を抽出してみた | Python活用シリーズ上記のサイトで学習中。つまずいた所を情報整理の目的と記録のために記事にしていきます。 jsonファイルを […]

  • 2021-02-03
  • 2021-04-04
  • 0件

【pythonのチートシート】

文法 try文 import requests →HTTP通信用のライブラリ ★サーバーにアクセスして、URLの情報を取得したい。response = requests.get(“URL”)   ★タイムアウトを設定して、安全にサーバー接続し、コンテンツを取得したい。(,ti […]

  • 2021-01-31
  • 2021-02-16
  • 0件

anacondaにおけるライブラリのインストール方法と「fake_useragent」について。【windows】

anacondaにおけるライブラリのインストール方法。「fake_useragent」のインストール方法。 6-38 useragentがインストールできなくても、今のところ、問題ないので、放置。どうしても必要な場合、「Docker」を使って環境構築した方がよいか? やはり、できるだけ人間が操作して […]

  • 2021-01-30
  • 2022-02-22
  • 1件

【まとめ】スクレイピングとrobots.txtと違反しないためのルールと対策

○robots.txt の概要 自分がスクレイピングしたい記事が許可されているのか禁止されているのかはそのサイトのURLの末尾に「/robots.txt」と入力して、検索すると調べることができます。私のサイトだと以下のようになります。 User-agent:→どのクロールを制御するかを指定する。   […]

  • 2021-01-17
  • 2021-02-02
  • 0件

勉強のメモと記録

図解!Python BeautifulSoupの使い方を徹底解説!(select、find、find_all、インストール、スクレイピングなど) こちらの動画で学習したことをメモしています。 セクション4 メモ 仮想環境で「conda install -c conda-forge newspaper […]