ノウハウ

Scrapyのインストール方法

2020年5月20日

Web上に存在するデータをScrapyでクローリングして自動的に取得したい!今回はそういったことを実現出来るツールのScrapyのインストール方法をご紹介!

このScrapy、過去に動かしたことがあったものの、時間が経って実行してみたところ、色々と環境が変わって動かすところ迄が結構大変で、行き詰まる方も一定数いらっしゃると感じました。

本稿で私が詰まったところと、その切り抜け方をご紹介しており、同じようにScrapyの導入で躓かれている方の参考になればと思います。

こんな方におすすめ

  • Webページをクローリングしたい方
  • Scrapyの導入で躓いている方

Scrapyのインストールの仕方

最新バージョンのPythonをダウンロード&インストール

1年ぶり位にPythonを起動したということもあって、Pythonのバージョンが古くて(3.7.1でした)、PIPでのInstallコマンドがうまく動作しません。SSLのエラーとかが出ます。

SSLのエラーが出る時は、最新版のPythonをダウンロードすればうまくいくという文献を観て、こちらで最新の3.83をダウンロードしました。

PIPのUpgrade

続いて、Scrapyを入れる為には、Twistedをインストールしなければいけないのですが、こちらをインストールするとpipのバージョンが古いと言われるてしまうのでpipをアップグレードしました。

Build Tools for Visual Studio 2019をインストール

PIPのアップグレードが済んだので、Twistedをインストールしようとしたところ、Microsoft Visual C++ 14.0が必要ですと言われます。

こちらでダウンロードしろというメッセージが出ていたので、インストーラーを入手しにいきます。「Build Tools for Visual Studio 2019」がお目当てなのですが、ちょっと場所がわかりにくいので、gifをつけました。(どうでも良いのですが、Visual StudioのVersionが2019になっていて、2003の頃から使っていたので、だいぶかんがい深くなりました。)

で、ダウンロードしてきたインストーラーを起動します。色々入れても良いのですが、サイズが大きそうなので最小限のものだけインストールしました。

インストールが終わったら、PCの再起動が必要と言われるので、再起動します。

Twistedをインストール

これでようやくTwistedのインストールが可能になったはずということで、恐る恐るinstallコマンドを実行します。

上手くいって感動!

Scrapyをインストール

そして、最後にScrapyもインストールです。

無事うまくインストールが出来ました(^^♪

まとめ

Scrapyを入れる際に必要な事項をポイントとしてまとめます。

ポイント

  1. Scrapyを使う為には最新VersionのPythonのインストールが必要
  2. Scrapyを導入する為にはTwistedが必要
  3. Twistedをインストールする為にはPIPのUpgradeMicrosoft Visual C++ 14.0のインストールが必要
  4. Microsoft Visual C++ 14.0をインストールする為にはBuild Tools for Visual Studio 2019が必要

このScrapyのインストールを実施した時期は2020年5月で、最新版を入れるとなると、必要なもののリストが変わっていると思いますが、詰まった方の参考になればと思います!

メモ

Scrapyを使った具体的なクローリング例をご紹介!SHARPのホットクック(便利鍋)の公式レシピとしてWeb上に掲載されている800件のレシピを取得して一覧を作った際の方法をご紹介しております!

ご閲覧ありがとうございました。
ではでは(^^)/

  • この記事を書いた人
  • 最新記事

-ノウハウ
-