Ruby + Seleniumでウェブサイトをスクレイピングする

Ruby + Seleniumでウェブサイトをスクレイピングする

ウェブサイトのスクレイピング

ウェブサイトを定期的にチェックしたり、開発中のウェブサイトを自動テストするときにプログラムでウェブサイトをスクレイピングすると手間が大幅に軽減されます。今回はRuby + Seleniumでスクレイピングするサンプルプログラムを共有します。

Advertisement

Yahoo!検索結果のスクレイピング

Yahoo!にて「テスト」と検索したときに結果を表示するサンプルプログラムを紹介します。

サンプルプログラム

サンプルプログラムの出力結果

 

さいごに

スクレイピングは色々と応用が利く技術ですが、使い方を間違うと接続先のサーバーへのDOS攻撃になってしまいます。本記事のサンプルでは1アクセスごとに2秒ほど時間を空けていますが、接続先のサーバーに迷惑がかからないように必ず注意してください。

Advertisement

web開発カテゴリの最新記事