python

• 2021-02-03
• 2021-04-04
• 0件

【pythonのチートシート】

文法 try文 import requests →HTTP通信用のライブラリ ★サーバーにアクセスして、URLの情報を取得したい。response = requests.get(“URL”)　　 ★タイムアウトを設定して、安全にサーバー接続し、コンテンツを取得したい。(,ti […]

続きを読む

• 2021-01-31
• 2021-02-16
• 0件

anacondaにおけるライブラリのインストール方法と「fake_useragent」について。【windows】

anacondaにおけるライブラリのインストール方法。「fake_useragent」のインストール方法。 6-38　useragentがインストールできなくても、今のところ、問題ないので、放置。どうしても必要な場合、「Docker」を使って環境構築した方がよいか？ やはり、できるだけ人間が操作して […]

続きを読む

• 2021-01-30
• 2022-02-22
• 1件

【まとめ】スクレイピングとrobots.txtと違反しないためのルールと対策

○robots.txt の概要 自分がスクレイピングしたい記事が許可されているのか禁止されているのかはそのサイトのURLの末尾に「/robots.txt」と入力して、検索すると調べることができます。私のサイトだと以下のようになります。 User-agent:→どのクロールを制御するかを指定する。　　 […]

続きを読む

• 2021-01-18
• 2021-01-29
• 0件

pythonで更新された記事を通知する方法（格闘日記）【未解決】

BeautifulSoupはHTTPクライアントではありません。 以下のサイト参考にしながら、勉強中です。○Python初心者でも”スクレイピング”で楽をしたい！自分がつまづいた箇所や疑問点などを記録しています。 「import bs4」→「from bs4 import BeautifulSoup […]

続きを読む

• 2021-01-17
• 2021-02-02
• 0件

勉強のメモと記録

図解！Python BeautifulSoupの使い方を徹底解説！(select、find、find_all、インストール、スクレイピングなど) こちらの動画で学習したことをメモしています。 セクション４　メモ 仮想環境で「conda install -c conda-forge newspaper […]

続きを読む

• 2021-01-09
• 2021-01-17
• 0件

【python入門】プログラミングの格闘記録(その1）

Anacoda Prompt(Anaconda3)を開いても、指定されたパスが入力されていませんの文字が出る（解決済） 「anaconda proｍpt」で「python」と入力するとエラーが発生する。そのエラーメッセージの中にアドバイスが表示されるのでその通りにしたら、解決した。anacondaの […]

続きを読む