Scrapyのインストール方法

Web上に存在するデータをScrapyでクローリングして自動的に取得したい！今回はそういったことを実現出来るツールのScrapyのインストール方法をご紹介！

このScrapy、過去に動かしたことがあったものの、時間が経って実行してみたところ、色々と環境が変わって動かすところ迄が結構大変で、行き詰まる方も一定数いらっしゃると感じました。

本稿で私が詰まったところと、その切り抜け方をご紹介しており、同じようにScrapyの導入で躓かれている方の参考になればと思います。

Scrapyのインストールの仕方

最新バージョンのPythonをダウンロード＆インストール

１年ぶり位にPythonを起動したということもあって、Pythonのバージョンが古くて（3.7.1でした）、PIPでのInstallコマンドがうまく動作しません。SSLのエラーとかが出ます。

SSLのエラーが出る時は、最新版のPythonをダウンロードすればうまくいくという文献を観て、こちらで最新の3.83をダウンロードしました。

PIPのUpgrade

続いて、Scrapyを入れる為には、Twistedをインストールしなければいけないのですが、こちらをインストールするとpipのバージョンが古いと言われるてしまうのでpipをアップグレードしました。

Build Tools for Visual Studio 2019をインストール

PIPのアップグレードが済んだので、Twistedをインストールしようとしたところ、Microsoft Visual C++ 14.0が必要ですと言われます。

こちらでダウンロードしろというメッセージが出ていたので、インストーラーを入手しにいきます。「Build Tools for Visual Studio 2019」がお目当てなのですが、ちょっと場所がわかりにくいので、gifをつけました。（どうでも良いのですが、Visual StudioのVersionが2019になっていて、2003の頃から使っていたので、だいぶかんがい深くなりました。）

で、ダウンロードしてきたインストーラーを起動します。色々入れても良いのですが、サイズが大きそうなので最小限のものだけインストールしました。

インストールが終わったら、PCの再起動が必要と言われるので、再起動します。

Twistedをインストール

これでようやくTwistedのインストールが可能になったはずということで、恐る恐るinstallコマンドを実行します。

上手くいって感動！

Scrapyをインストール

そして、最後にScrapyもインストールです。

無事うまくインストールが出来ました(^^♪

まとめ

Scrapyを入れる際に必要な事項をポイントとしてまとめます。

このScrapyのインストールを実施した時期は2020年5月で、最新版を入れるとなると、必要なもののリストが変わっていると思いますが、詰まった方の参考になればと思います！

ご閲覧ありがとうございました。
ではでは(^^)/