Scrapyのインストール方法

ホットクックのレシピを一覧化しようと調べていたら、800以上のレシピがあることを知って、手でコピーするのがかったるいので、Scrapyを使ってスクレイピングみようと思いました。過去に１、２回動かしたことがあったのですが、環境も変わりScrapyをインストールしようとしたところ、結構大変だったので記事にしてみました。

Scrapyのインストールの仕方

最新バージョンのPythonをダウンロード＆インストール

１年ぶり位にPythonを起動したということもあって、Pythonのバージョンが古くて（3.7.1でした）、PIPでのInstallコマンドがうまく動作しません。SSLのエラーとかが出ます。

SSLのエラーのエラーが出る時は、最新版のPythonをダウンロードすればうまくいくという文献を観て、こちらで最新の3.83をダウンロードしました。

PIPのUpgrade

続いて、Scrapyを入れる為には、Twistedをインストールしなければいけないので、こちらをインストールすると。PIPのバージョンが古いと言われるのでこちらをアップグレードしました。

Build Tools for Visual Studio 2019をインストール

PIPのアップグレードが済んだので、Twistedをインストールしようとしたところ、Microsoft Visual C++ 14.0が必要ですと言われます。

こちらでダウンロードしろというメッセージが出ていたので、インストーラーを入手しにいきます。「Build Tools for Visual Studio 2019」がお目当てなのですが、ちょっと場所がわかりにくいので、gifをつけました。（どうでも良いのですが、Visual StudioのVersionが2019になっていて、2003の頃から使っていたので、だいぶかんがい深くなりました。）

で、ダウンロードしてきたインストーラーを起動します。色々入れても良いのですが、サイズが大きそうなので最小限のものだけインストールしました。

インストールが終わったら、PCの再起動が必要と言われるので、再起動します。

Twistedをインストール

これでようやくTwistedのインストールが可能になったはずということで、恐る恐るinstallコマンドを実行します。

上手くいって感動！

Scrapyをインストール

そして、最後にScrapyもインストールです。

無事うまくインストールが出来ました(^^♪

まとめ

久しぶりにPythonに触りましたが、環境を整備するのがかったるかったです。同じ様に詰まる人が、一定数いそうな気がしたので、参考になれば幸いです。

スクレイピングをしてみた結果は、また別の記事でご紹介しようと思います。

ご閲覧ありがとうございました。
ではでは(^^)/