ymatsukawa blog

更新は不定期

Python

ページネートのリソースを1ページずつ巡回し、ページにある各々のリンクへ 1 階層潜り込んでスクレイピングする

http://mat5ukawa.hateblo.jp/entry/2018/06/05/002826 より 各ページを巡回する 巡回ごとに各々のレコード詳細リンクへ 1 階層潜り込む 潜り込み先でスクレイピングする クエリ抽出されたページのレコード探索に利用すれば良いと思う。 import scrapy class…

scrapy ページネート形式のリソースをページ順々にスクレイピングする

レコード一覧をページネートで表現したリソースがあるとする。 ページ毎に固有メッセージ page number is {page number} が存在するので、 全ページ分その取得を試みる。 リソースの想定図 ページ毎に page number is {page number} が存在する ページネート…

scrapy で localhost サーバーのリソースをスクレイピングして parse 結果を json ファイルに出力する

他人のサーバーでテストすることは憚られる 環境 Mac OSX - 10.13.4 Python - 3.6.5 nginx - 1.12.2 scrapy - 1.5.0 localhost サーバー workspace ディレクトリ直下の index.html を改変しておく。 /path/to/nginx/workspace/index.html <html> <head> <style type="text/css"> #caption { colo</style></head></html>…

python 仮想環境 とは

「管理者、システム権限から隔離された Python を実行できる環境」を仮想環境と呼ぶ。 実体的にはディレクトリであり venv ( あるいは env ) と表記される。 その配下には Python バイナリ, pip, 3rd パーティパッケージ などが集約されている。 (厳密な定義…

setup.py の最小構成

python setup.py sdist した時に warning なく dist が出力されること hello world スクリプトすらない 最小というより 骨組み の方が適切かもしれない 試行目的 setup.py の使い方に慣れること 動作確認バージョン Python 2.7.10 MacOSX 10.13.4 ディレクト…

PyPI とは

Python 用の 3rd パーティソフトウェアリポジトリ。 pip はパッケージマネージャであり、PyPI を標準の参照リポジトリとする。 情報参照元: https://en.wikipedia.org/wiki/Python_Package_Index