- 2021-08-18
- 2024-11-26
- 0件
【Beautifulsoup】処理時間の間隔をあける必要はないから、time.sleep()は必要ないですよね?
スクレイピングを行うライブラリはいくつかありますが、「requests」と「Beautifulsoup」ライブラリを組み合わせて行うことが多いように思います。 「requests」 でデータを取得し、 「Beautifulsoup」 でデータを抽出するという流れです。 「requests」 には多か […]
AUTHOR
ライフ君
- 2021-08-17
- 2024-11-26
- 0件
【python】スクレイピング後に数値のみを抽出したい。
スクレイピングしたデータを解析したいとき、数値のみを抽出したいことがよくあります。 例えば以下のサイトでFG（フィールドゴール）の確率を取り出したいと思います。 〇シュートの「確率」を知っておけばNBAが200倍よく解る import time from bs4 import BeautifulSo […]
- 2021-08-14
- 2024-11-26
- 0件
非同期処理サイトをスクレイピングしてみた。
＊不完全な記事です。 目的 ブラウザ上で取得したいサイトを見ていると、非同期処理していることに気づかず、requestsライブラリを使用すると、同期処理されていない部分の情報を取得できなかった。そこで、今回は非同期処理サイトのスクレイピング方法を見つたいと思います。記録のために試行錯誤の順で記事を書 […]
- 2021-08-14
- 2024-11-27
- 0件
【python】アンドロイドを使って、googleスプレッドシートに格納した、URLをwebdriverを使って自動で開きたい！～termuxとteamviewerとpydroid3とAppium～
はじめに アンドロイドを使用して、pythonを実行させるために、「teamviewer」は必要はありませんが、PCからアンドロイドを操作できた方が便利なので、「teamviewer」をダウンロードしました。 PCからアンドロイドを操作するのは非常に難しいと思っていましたが、「teamviewer」 […]
- 2021-08-14
- 2024-11-26
- 0件
sqliteに必須の知識osモジュール。作業ディレクトリを下の層に移動させる。
私は「jupyter lab」を使用して、pythonのプログラムを書くことが多いです。 sqlite3を使用すると、作業フォルダー内に大量のデータベースが保存させるため、作業フォルダを変更させたいと前から思っていました。 osモジュールを使用すると、簡単に作業ファイルを移動することができたのでご紹 […]
- 2021-07-09
- 2024-11-26
- 0件
IR情報を理解して、株価変動を予測する。【株の材料一覧】
企業のIR情報によって、株価がどのように変動するのかを研究していたことがありました。いつも通り、メモ書きみたいな感じですが、アップロードしましたので、よろしければ、ご参照ください。 固定資産の譲渡による収益の計上 赤字を補填するような書き方だと、株価は変化なし。上記によって、企業を発展させる目的で使 […]
- 2021-06-05
- 2024-11-26
- 0件
【python】並列処理の強制終了の方法はどうするの？
現在、私は「jupyter lab」を使用して、pythonのプログラムを実行しています。 以下の無限ループのコードを実行してみます。 while True: time.sleep(2) print("hello") このコードを強制終了させるときは、「■ボタン」や「Ctrl+c」で強制終了させるこ […]
- 2021-06-05
- 2024-11-27
- 0件
【実例】オートバックスの車検～実際の見積書あり～
前書き 一昨年にオートバックで車検をしてもらいました。その時の実際の見積書（請求書）は以下になります。 車種や作業内容によっても車検にかかる費用は変わってくるので、これが安いのかどうかはわかりません。 毎年、イエローハットにも見積もりを取ってもらおうと思うのですが、面倒なので、見積もりは取っていませ […]
- 2021-05-11
- 2024-11-27
- 0件
【sqlite3】for文を使用して、複数列に文字列を挿入したい。
デモなどで「INSERT INTO」文でデータベースに複数列入れることがよくあると思います。しかし、実践ではfor文も組み込んで行うことがあると思いますが、デモではあまりありません。 以下のコードのようにfor文の中に「INSERT INTO」文をを組み込んで、実行するとエラーが発生します。 imp […]
- 2021-05-09
- 2024-11-27
- 0件
「pickle」を使用してみた。
「pickle」は日本語で「漬物」という意味になります。pythonのデータをそのままの形で保存することできます。データベースとは異なります。 import pickle import time import requests headers = {"User-Agent":""} from bs4 […]
- 2021-05-09
- 2024-11-27
- 0件
株価をスクレイピングしてGspredSheetに出力してみた。
目的 以下のサイトから株価のデータを取得し、GspreadSheetに入力したい。○株式投資メモ 1305 ダイワ ＊完成コードは最後に表示しています。 tableのheadを取得する <thead>は「table header」の略で、表の水平方向をグループ化するタグになります。○th […]
- 2021-05-09
- 2024-11-27
- 0件
【python】「feedparser」を学んでみた。
「Anconda prompt」を開き、「conda install feedparser」と入力する。 ○feedparser 5.2.0 documentation import feedparser import re _my_date_pattern = re.compile( […]
- 2021-05-09
- 2024-11-27
- 0件
【python】sqlite3を使用して、if文とfor文を組み合わせて、UPDATEを成功させる。
題名にも書きましたように、sqlite3を使用して、「INSERT INTO」でデータベースに格納したものを、「UPDATE」で更新させたいと思います。 リストにマイケル、バックエル、マホーンという人物を格納する。マイケルのみ、「私が主人公のマイケルです」と更新されるようにする。 まずは以下のコード […]
- 2021-05-06
- 2024-11-27
- 0件
「python」でLINEにメッセージを送る。
不気味なアイキャッチ画像ですが、気にしないでください。 以下の動画を参考にして、「python」でLINEにメッセージを送りたいと思います。 ○【LINEチャットボット作成】毎朝美女からメッセージが届く方法をわかりやすく解説！Python×Messaging API×GitHub Actions つ […]
- 2021-05-06
- 2024-11-27
- 0件
【SQL】for文でスクレイピングで取得した情報をデータベースに格納する。
前回は、スクレイピングした情報をデータベースに格納することができました。 ○【python】SQLite3でスクレイピングした記事をデータべースに保存する。 今回は、複数の記事をsqlite3を使用して、データベースに格納していと思います。 実行したものの、自分の思った通りに実行しているのかわからな […]
- 2021-05-02
- 2024-11-27
- 0件
【python】SQLite3でスクレイピングした記事をデータべースに保存する。
前書き 最近、ブログを書かずに、pythonの勉強のみに専念していました。しかし、自分が思うよう学習を進めることができず、行き詰まりことが多く、集中が途切れていました。おそらく、プログラミングで自分がやりたいことを明確できていないからだと思います。分からないことをネットで調べていると脱線して、自分が […]
- 2021-04-30
- 2024-11-27
- 0件
【wordpress】「Failed to load plugin: ・・・」というエラーメッセージが発生した。
ワードプレスで投稿記事を編集していると、以下のようなエラーメッセージが発生しました。「×」ボタンを押すと、問題なく編集できるので、放置していましたが、以下のように編集画面を開ける度にエラーメッセージが発生するので、さすがに煩わしくなりました。 表示されたエラーメッセージは「Failed […]
- 2021-03-11
- 2021-05-01
- 0件
【株の記録】気配値はあまり重要でない。
アトム 3月11日（木） 5:00 PTSは＋4.1円 買いも入っているし、底なのかな？ 反発する予想 反発予想は外れ。買いを入れる人はもう少し下がると予想しているようだ。 3月12日（金）4:00 3月11日の日経は＋0.6％→地合いが良いのにも関わらず、上がらないということはもう少し下がるだろう […]
- 2021-03-09
- 2021-03-12
- 0件
【Anaconda】実行環境のバージョンを調べる方法。
windows OSの確認方法 windows OSのバージョンの確認方法（windows7)windows OSのバージョンの確認方法（windows10） python のバージョンの確認方法 「Anaconda prompt」を開き、「python -V（大文字）」と入力する。 ライブライリー […]
- 2021-02-27
- 2021-02-27
- 0件
【THE THOR】サイドバーの目次のデザイン修正の例。
以前、「THE THOR」のサイドバーに追従する目次設定について記事をかきました。○【THE THOR】プラグインなしで追従する目次を表示させる方法とプラグインの有無のサイトの表示速度。 この目次のデザインが気に入らないため、少し手を加えていきたいと思います。 まず、以下のソースを追加CSSに記述し […]
- 2021-02-23
- 2021-02-23
- 0件
「requests.get()」時に設定しておくべき、エラーのチェック方法。
「requests.get()」を実行した際、実際にダウンロードが成功したのか、失敗したのを把握する必要があります。 そのために「res.status.code」で確認する必要があります。 しかし、「res.status.code」を使用すると自分自身でダウンロードに成功したのか、失敗したのかを確認 […]
- 2021-02-21
- 2021-02-22
- 0件
【THE TOHR】タグ管理を使ってみた感想とワードプレスにおいてCSSが反映されない原因とAmazonのアフィリエイトで写真が表示されない原因。
前書き ワードプレスのテーマ【THE TOHR】の目玉の一つに「タグ管理」というものがある。プラグインで「タグ管理」機能を追加することが多いみたいですが、【THE THOR】にはもともと「タグ管理」が内蔵されています。 その「タグ管理」を私は一切使っていませんでしたが、ネットの情報によるとかなり便利 […]
- 2021-02-18
- 2021-02-20
- 0件
「python」と「GoogleSpreadSheet」の連携の初期設定でつまずいた箇所。
〇PythonでGoogleスプレッドシートの作業を一瞬で終わらせる｜プログラミングによる自動化仕事術○PythonでGoogleスプレッドシートの情報を抽出してみた | Python活用シリーズ上記のサイトで学習中。つまずいた所を情報整理の目的と記録のために記事にしていきます。 jsonファイルを […]