Ruby + Seleniumでウェブサイトをスクレイピングする



  • ※当サイトはアフィリエイト広告を利用しています
Ruby + Seleniumでウェブサイトをスクレイピングする

ウェブサイトのスクレイピング

ウェブサイトを定期的にチェックしたり、開発中のウェブサイトを自動テストするときにプログラムでウェブサイトをスクレイピングすると手間が大幅に軽減されます。今回はRuby + Seleniumでスクレイピングするサンプルプログラムを共有します。

Advertisement

Yahoo!検索結果のスクレイピング

Yahoo!にて「テスト」と検索したときに結果を表示するサンプルプログラムを紹介します。

サンプルプログラム

サンプルプログラムの出力結果

Advertisement

さいごに

スクレイピングは色々と応用が利く技術ですが、使い方を間違うと接続先のサーバーへのDOS攻撃になってしまいます。本記事のサンプルでは1アクセスごとに2秒ほど時間を空けていますが、接続先のサーバーに迷惑がかからないように必ず注意してください。

 

 

ウェブプログラミングについては下記の本も参考になるので、スキルアップにお役立てください。
徳丸 浩(著)
ページ数: 688ページ
出版社:SBクリエイティブ
発売日:2018/06/21

出典:amazon

 

この記事が気に入ったら
いいね ! をお願いします

Twitter で

web開発カテゴリの最新記事