ページネートのリソースを1ページずつ巡回し、ページにある各々のリンクへ 1 階層潜り込んでスクレイピングする

Python

http://mat5ukawa.hateblo.jp/entry/2018/06/05/002826 より各ページを巡回する巡回ごとに各々のレコード詳細リンクへ 1 階層潜り込む潜り込み先でスクレイピングするクエリ抽出されたページのレコード探索に利用すれば良いと思う。 import scrapy class…

2018-06-05

scrapy ページネート形式のリソースをページ順々にスクレイピングする

Python

レコード一覧をページネートで表現したリソースがあるとする。ページ毎に固有メッセージ page number is {page number} が存在するので、全ページ分その取得を試みる。リソースの想定図ページ毎に page number is {page number} が存在するページネート…

2018-06-04

scrapy で localhost サーバーのリソースをスクレイピングして parse 結果を json ファイルに出力する

Python

他人のサーバーでテストすることは憚られる環境 Mac OSX - 10.13.4 Python - 3.6.5 nginx - 1.12.2 scrapy - 1.5.0 localhost サーバー workspace ディレクトリ直下の index.html を改変しておく。 /path/to/nginx/workspace/index.html <html> <head> <style type="text/css"> #caption { colo</style></head></html>…

2018-06-03

python 仮想環境とは

Python

「管理者、システム権限から隔離された Python を実行できる環境」を仮想環境と呼ぶ。実体的にはディレクトリであり venv ( あるいは env ) と表記される。その配下には Python バイナリ, pip, 3rd パーティパッケージなどが集約されている。 (厳密な定義…

2018-06-01

setup.py の最小構成

Python

python setup.py sdist した時に warning なく dist が出力されること hello world スクリプトすらない最小というより骨組みの方が適切かもしれない試行目的 setup.py の使い方に慣れること動作確認バージョン Python 2.7.10 MacOSX 10.13.4 ディレクト…