SeleniumでWebスクレイピング覚書

BeautifulSoupでクエリーパラメータを含んだリクエストは送信できないので、クエリーパラメータを送信したいときはSeleniumを使用する。（クエリーパラメータを含んだURLを使用するだけでOK）

pythonでスクレイピング クエリパラメータが渡せない？

ライブラリーの読み込みとdriverの起動

import time
from selenium import webdriver
import chromedriver_binary

driver = webdriver.Chrome()

GETメソッドでリクエストを送信(クエリーパラメータはURLに入れれば良い)

リクエスト送信後にjavascriptの読み込みが完了するまでに時間を空けると良さそう？？（time.sleep()ではなく、読み込み終わりみたいなメソッドがあればそれを使った方がよさげ）

driver.get("https://sra.dbcls.jp/result.html?target_db=sra&term=mifish&rows=100&sort=Updated&order=desc")
time.sleep(5)