- 2021-08-14
- 2022-02-22
- 0件
非同期処理サイトをスクレイピングしてみた。
*不完全な記事です。 目的 ブラウザ上で取得したいサイトを見ていると、非同期処理していることに気づかず、requestsライブラリを使用すると、同期処理されていない部分の情報を取得できなかった。そこで、今回は非同期処理サイトのスクレイピング方法を見つたいと思います。記録のために試行錯誤の順で記事を書 […]
*不完全な記事です。 目的 ブラウザ上で取得したいサイトを見ていると、非同期処理していることに気づかず、requestsライブラリを使用すると、同期処理されていない部分の情報を取得できなかった。そこで、今回は非同期処理サイトのスクレイピング方法を見つたいと思います。記録のために試行錯誤の順で記事を書 […]
はじめに アンドロイドを使用して、pythonを実行させるために、「teamviewer」は必要はありませんが、PCからアンドロイドを操作できた方が便利なので、「teamviewer」をダウンロードしました。 PCからアンドロイドを操作するのは非常に難しいと思っていましたが、「teamviewer」 […]
私は「jupyter lab」を使用して、pythonのプログラムを書くことが多いです。 sqlite3を使用すると、作業フォルダー内に大量のデータベースが保存させるため、作業フォルダを変更させたいと前から思っていました。 osモジュールを使用すると、簡単に作業ファイルを移動することができたのでご紹 […]
企業のIR情報によって、株価がどのように変動するのかを研究していたことがありました。いつも通り、メモ書きみたいな感じですが、アップロードしましたので、よろしければ、ご参照ください。 固定資産の譲渡による収益の計上 赤字を補填するような書き方だと、株価は変化なし。上記によって、企業を発展させる目的で使 […]
現在、私は「jupyter lab」を使用して、pythonのプログラムを実行しています。 以下の無限ループのコードを実行してみます。 while True: time.sleep(2) print("hello") このコードを強制終了させるときは、「■ボタン」や「Ctrl+c」で強制終了させるこ […]
前書き 一昨年にオートバックで車検をしてもらいました。その時の実際の見積書(請求書)は以下になります。 車種や作業内容によっても車検にかかる費用は変わってくるので、これが安いのかどうかはわかりません。 毎年、イエローハットにも見積もりを取ってもらおうと思うのですが、面倒なので、見積もりは取っていませ […]
デモなどで「INSERT INTO」文でデータベースに複数列入れることがよくあると思います。しかし、実践ではfor文も組み込んで行うことがあると思いますが、デモではあまりありません。 以下のコードのようにfor文の中に「INSERT INTO」文をを組み込んで、実行するとエラーが発生します。 imp […]
「pickle」は日本語で「漬物」という意味になります。pythonのデータをそのままの形で保存することできます。データベースとは異なります。 import pickle import time import requests headers = {"User-Agent":""} from bs4 […]
目的 以下のサイトから株価のデータを取得し、GspreadSheetに入力したい。○株式投資メモ 1305 ダイワ *完成コードは最後に表示しています。 tableのheadを取得する <thead>は「table header」の略で、表の水平方向をグループ化するタグになります。○th […]
「Anconda prompt」を開き、「conda install feedparser」と入力する。 ○feedparser 5.2.0 documentation import feedparser import re _my_date_pattern = re.compile( […]
題名にも書きましたように、sqlite3を使用して、「INSERT INTO」でデータベースに格納したものを、「UPDATE」で更新させたいと思います。 リストにマイケル、バックエル、マホーンという人物を格納する。マイケルのみ、「私が主人公のマイケルです」と更新されるようにする。 まずは以下のコード […]
不気味なアイキャッチ画像ですが、気にしないでください。 以下の動画を参考にして、「python」でLINEにメッセージを送りたいと思います。 ○【LINEチャットボット作成】毎朝美女からメッセージが届く方法をわかりやすく解説!Python×Messaging API×GitHub Actions つ […]
前回は、スクレイピングした情報をデータベースに格納することができました。 ○【python】SQLite3でスクレイピングした記事をデータべースに保存する。 今回は、複数の記事をsqlite3を使用して、データベースに格納していと思います。 実行したものの、自分の思った通りに実行しているのかわからな […]
前書き 最近、ブログを書かずに、pythonの勉強のみに専念していました。しかし、自分が思うよう学習を進めることができず、行き詰まりことが多く、集中が途切れていました。おそらく、プログラミングで自分がやりたいことを明確できていないからだと思います。分からないことをネットで調べていると脱線して、自分が […]
ワードプレスで投稿記事を編集していると、以下のようなエラーメッセージが発生しました。「×」ボタンを押すと、問題なく編集できるので、放置していましたが、以下のように編集画面を開ける度にエラーメッセージが発生するので、さすがに煩わしくなりました。 表示されたエラーメッセージは「Failed […]
アトム 3月11日(木) 5:00 PTSは+4.1円 買いも入っているし、底なのかな? 反発する予想 反発予想は外れ。買いを入れる人はもう少し下がると予想しているようだ。 3月12日(金)4:00 3月11日の日経は+0.6%→地合いが良いのにも関わらず、上がらないということはもう少し下がるだろう […]
windows OSの確認方法 windows OSのバージョンの確認方法(windows7)windows OSのバージョンの確認方法(windows10) python のバージョンの確認方法 「Anaconda prompt」を開き、「python -V(大文字)」と入力する。 ライブライリー […]
以前、「THE THOR」のサイドバーに追従する目次設定について記事をかきました。○【THE THOR】プラグインなしで追従する目次を表示させる方法とプラグインの有無のサイトの表示速度。 この目次のデザインが気に入らないため、少し手を加えていきたいと思います。 まず、以下のソースを追加CSSに記述し […]
「requests.get()」を実行した際、実際にダウンロードが成功したのか、失敗したのを把握する必要があります。 そのために「res.status.code」で確認する必要があります。 しかし、「res.status.code」を使用すると自分自身でダウンロードに成功したのか、失敗したのかを確認 […]
前書き ワードプレスのテーマ【THE TOHR】の目玉の一つに「タグ管理」というものがある。プラグインで「タグ管理」機能を追加することが多いみたいですが、【THE THOR】にはもともと「タグ管理」が内蔵されています。 その「タグ管理」を私は一切使っていませんでしたが、ネットの情報によるとかなり便利 […]
〇PythonでGoogleスプレッドシートの作業を一瞬で終わらせる|プログラミングによる自動化仕事術○PythonでGoogleスプレッドシートの情報を抽出してみた | Python活用シリーズ上記のサイトで学習中。つまずいた所を情報整理の目的と記録のために記事にしていきます。 jsonファイルを […]
以前、シンタックスハイライトを導入しようとしましたが、挫折しました。 ○プラグインなしでシンタックスハイライトを導入する方法【導入できず】 その後、「インラインコード」を使用して、以下の写真のようにソースの部分だけ背景色を付けたり、枠をつけて実装したいと思いました。 実装したい「インラインコード」の […]
akismet anti-spam akismet anti-spamは、ワードプレスを立ち上げるとすでにインストールされているプラグインです。始めは機能が停止していますが、ワンクリックで有効化にできる状態となっています。つまり、ワードプレス公認のプラグインということです。 https://tren […]