• この記事を書いた人
se.consultant

小林 祐也(ぷーさん)

未来志向と戦略思考が強みの30以上のプログラム言語を経験した外資コンサルタントSE

ノウハウ

Scrapyのインストール方法

2020年5月20日

ホットクックのレシピを一覧化しようと調べていたら、800以上のレシピがあることを知って、手でコピーするのがかったるいので、Scrapyを使ってスクレイピングみようと思いました。過去に1、2回動かしたことがあったのですが、環境も変わりScrapyをインストールしようとしたところ、結構大変だったので記事にしてみました。

こんな方におすすめ

  • Webページをクローリングしたい方
  • Scrapyを使ってみようしている方

Scrapyのインストールの仕方

 

最新バージョンのPythonをダウンロード&インストール

1年ぶり位にPythonを起動したということもあって、Pythonのバージョンが古くて(3.7.1でした)、PIPでのInstallコマンドがうまく動作しません。SSLのエラーとかが出ます。

SSLのエラーのエラーが出る時は、最新版のPythonをダウンロードすればうまくいくという文献を観て、こちらで最新の3.83をダウンロードしました。

PIPのUpgrade

続いて、Scrapyを入れる為には、Twistedをインストールしなければいけないので、こちらをインストールすると。PIPのバージョンが古いと言われるのでこちらをアップグレードしました。

Build Tools for Visual Studio 2019をインストール

PIPのアップグレードが済んだので、Twistedをインストールしようとしたところ、Microsoft Visual C++ 14.0が必要ですと言われます。

こちらでダウンロードしろというメッセージが出ていたので、インストーラーを入手しにいきます。「Build Tools for Visual Studio 2019」がお目当てなのですが、ちょっと場所がわかりにくいので、gifをつけました。(どうでも良いのですが、Visual StudioのVersionが2019になっていて、2003の頃から使っていたので、だいぶかんがい深くなりました。)

で、ダウンロードしてきたインストーラーを起動します。色々入れても良いのですが、サイズが大きそうなので最小限のものだけインストールしました。

インストールが終わったら、PCの再起動が必要と言われるので、再起動します。

Twistedをインストール

これでようやくTwistedのインストールが可能になったはずということで、恐る恐るinstallコマンドを実行します。

上手くいって感動!

Scrapyをインストール

そして、最後にScrapyもインストールです。

無事うまくインストールが出来ました(^^♪

まとめ

久しぶりにPythonに触りましたが、環境を整備するのがかったるかったです。同じ様に詰まる人が、一定数いそうな気がしたので、参考になれば幸いです。

スクレイピングをしてみた結果は、また別の記事でご紹介しようと思います。

ご閲覧ありがとうございました。
ではでは(^^)/

1つ星 (記事が気にいったらいいね!してね!)
読み込み中...

-ノウハウ
-,

Copyright© ぷーさんの閃考 , 2020 All Rights Reserved.