ホットクックのレシピを一覧化しようと調べていたら、800以上のレシピがあることを知って、手でコピーするのがかったるいので、Scrapyを使ってスクレイピングみようと思いました。過去に１、２回動かしたことがあったのですが、環境も変わりScrapyをインストールしようとしたところ、結構大変だったので記事にしてみました。
こんな方におすすめ
- Webページをクローリングしたい方
- Scrapyを使ってみようしている方
Scrapyのインストールの仕方
最新バージョンのPythonをダウンロード＆インストール
１年ぶり位にPythonを起動したということもあって、Pythonのバージョンが古くて（3.7.1でした）、PIPでのInstallコマンドがうまく動作しません。SSLのエラーとかが出ます。
SSLのエラーのエラーが出る時は、最新版のPythonをダウンロードすればうまくいくという文献を観て、こちらで最新の3.83をダウンロードしました。
PIPのUpgrade
続いて、Scrapyを入れる為には、Twistedをインストールしなければいけないので、こちらをインストールすると。PIPのバージョンが古いと言われるのでこちらをアップグレードしました。
Build Tools for Visual Studio 2019をインストール
PIPのアップグレードが済んだので、Twistedをインストールしようとしたところ、Microsoft Visual C++ 14.0が必要ですと言われます。
こちらでダウンロードしろというメッセージが出ていたので、インストーラーを入手しにいきます。「Build Tools for Visual Studio 2019」がお目当てなのですが、ちょっと場所がわかりにくいので、gifをつけました。（どうでも良いのですが、Visual StudioのVersionが2019になっていて、2003の頃から使っていたので、だいぶかんがい深くなりました。）
で、ダウンロードしてきたインストーラーを起動します。色々入れても良いのですが、サイズが大きそうなので最小限のものだけインストールしました。
インストールが終わったら、PCの再起動が必要と言われるので、再起動します。
Twistedをインストール
これでようやくTwistedのインストールが可能になったはずということで、恐る恐るinstallコマンドを実行します。
1 | py -m pip install twisted |
上手くいって感動！
Scrapyをインストール
そして、最後にScrapyもインストールです。
1 | py -m pip install scrapy |
無事うまくインストールが出来ました(^^♪
まとめ
久しぶりにPythonに触りましたが、環境を整備するのがかったるかったです。同じ様に詰まる人が、一定数いそうな気がしたので、参考になれば幸いです。
スクレイピングをしてみた結果は、また別の記事でご紹介しようと思います。
ご閲覧ありがとうございました。
ではでは(^^)/