PythonでWebスクレイピング入門(Scrapy+Selenium編)

機械学習が流行している近年において、データを集める手段としてのWebスクレイピングもまた注目を集めています。現在はWebスクレイピングのための便利なライブラリが揃っているので、実装は簡単です。今回はPythonのScrapyとSeleniumを使って、Webスクレイピングする手法を紹介します。

見出し

1 はじめに
2 Scrapyとは？
3 XPathとは？
4 Newsweekのサイトをスクレイピング
5 最後に
6 環境
- 6.1 関連記事

はじめに

WebクローリングはWebサイトからHTMLなどのソースコードを収集するプロセスのことであり、Webスクレイピングは収集したデータから必要な情報を抽出するプロセスのことです。この記事ではまとめてWebスクレイピングと表現します。Webスクレイピングを利用することでさまざまな使いみちに応用できますが、近年では機械学習のためのデータ収集の手段として使われています。

今回は、PythonのWebスクレイピングのライブラリであるScrapyとSeleniumを組み合わせて、Newsweekのサイトをスクレイピングしてみましょう。

Scrapyとは？

Scrapyとは、PythonでWebスクレイピングをするためのライブラリです。類似したライブラリにBeautiful Soupが知られています。Scrapyで作ったクローラーはScrapingHubというクラウド上にデプロイすることができ、自前でサーバーを準備することなくすぐに可動させられます。

XPathとは？

XPathとは、XML文章から任意の位置を指定するための構文です。Webスクレイピングのライブラリでは通常XPathが利用可能であるため、この構文を利用することでXML形式の文章であるHTMLを解析することができます。特に難しい構文でも無いため、書いていればすぐに理解できるでしょう。

Newsweekのサイトをスクレイピング

前提条件

以下を事前に準備しましょう。

Python3がインストールされていること
Chromeがインストールされていること
Chromeのドライバーがインストールされていること

今回はブラウザにChromeを使用し、Seleniumで操作するのでChromeのドライバーも必要です。Macの場合、ChromeのドライバーはHomebrewでインストールできます。

$ brew cask install chromedriver
$ chromedriver --version
ChromeDriver 2.40.565386 (45a059dc425e08165f9a10324bd1380cc13ca363)

開発環境の準備

まずは、Scrapyのプロジェクトを準備しましょう。

$ python -m venv newsweek_crawler_env
$ source newsweek_crawler_env/bin/activate
$ pip install --upgrade pip
$ pip install ipython scrapy selenium
$ scrapy version
Scrapy 1.5.0
$ scrapy startproject newsweek_crawler
$ cd newsweek_crawler/
$ scrapy genspider newsweek www.newsweek.com
$ scrapy list
newsweek
$ scrapy crawl newsweek
...
2018-06-26 00:02:02 [scrapy.core.engine] DEBUG: Crawled (200)  (referer: None)
...
$ scrapy shell http://www.newsweek.com/
...
In [1]: response
Out[1]: 
In [2]: exit

SpiderはScrapyのメインのスクリプトであり、Webサイトと紐づけて作られています。Newsweekのサイトから200が返ってきているので、正しくSpiderが作られていることが確認できました。

Scrapyの設定

今回はクローラーっぽくUSER_AGENTとDOWNLOAD_DELAYを設定します。これによりブラウザっぽくアクセスできます。ROBOTSTXT_OBEYを無効にすることで、robots.txtへのアクセスしなくなり、無意味なリクエストを減らせます。COOKIES_ENABLEDを無効にすることでクッキーにクローラー対策を施してあるサイトに対処しています。

$ vi newsweek_crawler/settings.py
...
USER_AGENT = 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_5) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.87 Safari/537.36'
ROBOTSTXT_OBEY = False
DOWNLOAD_DELAY = 2
RANDOMIZE_DOWNLOAD_DELAY = True
COOKIES_ENABLED = False
...

その他にも、この設定ファイルはItemやPipelineを使う場合に設定を追加して利用します。

クローラーの作成

それではメインのコーディングをしましょう。今回はNewsweekの記事のタイトルと記事内容を取得してみましょう。

# -*- coding: utf-8 -*-
from time import sleep
from scrapy import Spider
from scrapy.selector import Selector
from scrapy.http import Request
from selenium import webdriver
from selenium.webdriver.common.keys import Keys
from selenium.common.exceptions import NoSuchElementException


class NewsweekSpider(Spider):
    name = 'newsweek'
    allowed_domains = ['www.newsweek.com']
    start_urls = ['http://www.newsweek.com/']

    def __init__(self, search_word, page_limit=10):
        self.search_word = search_word
        self.page_limit = int(page_limit)

    def start_requests(self):
        self.driver = webdriver.Chrome()
        self.driver.get('http://www.newsweek.com/')

        # Search a word
        input_search_form = self.driver.find_element_by_xpath(
            '//input[@name="search_block_form"]')
        input_search_form.send_keys(self.search_word)
        input_search_form.send_keys(Keys.RETURN)

        # Avoid getting banned
        sel = Selector(text=self.driver.page_source)
        forbidden_page_title = sel.xpath('//title/text()').extract_first()
        if '403' in forbidden_page_title:
            self.logger.warn('Access is forbidden. Try again!')
            input_search_form2 = self.driver.find_element_by_xpath(
                '//input[@name="search_block_form"]')
            input_search_form2.send_keys(self.search_word)
            input_search_form2.send_keys(Keys.RETURN)

        # Get articles
        page_num = 0
        while page_num < self.page_limit:
            try:
                sel = Selector(text=self.driver.page_source)
                article_urls = sel.xpath('//article/div/h3/a/@href').extract()
                for article_url in article_urls:
                    yield Request(url=article_url, callback=self.parse_article)

                # Process a next page
                next_page = self.driver.find_element_by_xpath(
                    '//li[contains(@class, "pager-next")]/a')
                next_page.click()
                sleep(3)
                page_num = page_num + 1
            except NoSuchElementException:
                self.driver.quit()
                break
        else:
            self.driver.quit()

    def parse_article(self, response):
        title = response.xpath(
            '//h1[@itemprop="headline"]/text()').extract_first()
        article_paragraphs = response.xpath(
            '//div[@itemprop="articleBody"]/p').extract()
        article_body = ''.join(article_paragraphs)

        yield {'title': title, 'article_body': article_body}

今回は適当に記事の対象となるサイトを選んだのですが、運悪くNewsweekはクローラー対策が施されているサイトでした。そのため、クローラーだと判断されてしまった場合にもう一度検索することで対処しています。

クローラー対策が施されていないサイトの場合は、Scrapyだけでもすべてのデータを取得することが可能です。一応ですが、本来なら利用規約などを読んでWebスクレイピングが禁止されていないかを確認すべきですよ。

動作確認

それでは実行してみましょう。

$ scrapy crawl newsweek -a search_word='machine learning' -a page_limit=3 -o articles.csv

CSVファイルに3ページ分のタイトルと記事内容のHTMLが出力されました。

最後に

いかがでしたか？これでPythonでWebスクレイピングができるようになったと思います。Seleniumの知識も使えるのでE2Eテストをやっている人には取っ付き易いかもしれません。データを効率的に収集して、機械学習などに利用していきましょう。では。

環境

Python : 3.6.5
pip : 10.0.1
Chrome : 67.0.3396.87
ChromeDriver : 2.40.565386
Scrapy : 1.5.0
Selenium : 3.13.0

この記事を書いた人
最新の記事

KD

世界を旅し日本を愛するエンジニア。大学でコンピュータサイエンスの楽しさを学び、日本の大手IT企業で働く中で、新しい技術やスケールするビジネスが北米にある事に気づく。世界に挑戦するための最大の壁が英語であったため、フィリピン留学およびカナダ留学を経て英語を上達させた。現在は日本在住でエンジニアとして働きつつ、次の挑戦に備えて世界の動向を注視している。挑戦に終わりはない。このブログでは、エンジニアやデザイナー向けの技術情報から、海外に留学したい人向けの留学情報、海外に興味がある人向けの海外旅行情報など、有益な情報を提供しています。