【python×selenium】Googleの検索結果一覧からタイトルを取得する

1 本記事の要約
2 実行環境
3 Googleの検索結果からタイトルを抽出する
- 3.1 ソースコード
- 3.2 実行結果
4 終わりに

本記事の要約

Googleでの検索結果から記事のタイトルを抽出するプログラムを書いたので紹介する。

プログラムの内容は、指定していたキーワードでのGoogle検索結果をseleniumを用いてスクレイピングし、1ページ目の記事のタイトルを抽出するものである。

実行環境

バージョン：python3.7.3

ドライバー：chrome driver

使用機器：macOS Mojave 10.14.6

Webスクレイピングは使用方法によってはWebサーバーに過度な負荷をかけ、迷惑になる場合があります。

過去にはスクレイピングが問題となったこともあります。

リクエストの頻度を落としたり、スクレイピングは１度で終わらせ何回も同じリクエストを送らないようにするなどサーバーに負荷をかけないように注意しましょう。

Googleの検索結果からタイトルを抽出する

ソースコード

from selenium import webdriver
import time
from selenium.webdriver.common.keys import Keys

#setting search words
keywords = ['python','自動化']

#ready to search words
searchSentence = ''
for keyword in(keywords):
	searchSentence += (keyword + ' ')

#add return key for search faster
searchSentence += '\n'

waitTime = 2

driver = webdriver.Chrome()
url = "https://google.com"
driver.get(url)
time.sleep(waitTime)

inputBoxElement = driver.find_element_by_xpath('//*[@id="tsf"]/div/div/div/div/div/input')
inputBoxElement.send_keys(searchSentence)
time.sleep(waitTime)

titleElements = driver.find_elements_by_class_name('LC20lb')

#element change to text
#list can't change to text, so change one each
titles = []
for titleElement in(titleElements):
	titles.append(titleElement.text)

for title in(titles):
	print(title)

#finish selenium
driver.quit()