selenium如何滚动页面底部加载更多数据并爬取？
网友回复
from selenium import webdriver
from selenium.webdriver.common.keys import Keys
import time
# 初始化WebDriver，这里以Chrome为例
driver = webdriver.Chrome(executable_path='path_to_chromedriver.exe')
# 打开要爬取的页面
url = 'https://example.com' # 替换为您要爬取的网页URL
driver.get(url)
# 模拟滚动到页面底部加载更多数据
SCROLL_PAUSE_TIME = 2
# 获取当前页面的高度
last_height = driver.execute_script("return document.body.scrollHeight")
while True:
# 模拟滚动到页面底部
dr...点击查看剩余70%
by thinkfuture
我知道答案，我要回答
最新提问
最新的国内外ai大模型能力排行榜有吗？
国产图片大模型seedream-5及qwen-image-3都无法生成360度全景图片？
听说OpenAI的Astra太强了可能会失控？
qwen3.8-max比较适合那些场景？
python有没有免费的股市行情数据api可用？
UUIDv7、nanoid、Snowflake、ULID与sparkid这些id生成器区别？
get请求报错NS_BINDING_ABORTED是什么原因？
happyhorse与seedance及minmax h3到底哪个更好？
scriptc为啥能生成一个不带nodejs的原生二进制可执行程序？
为啥huggingface那么多ai图片和视频模型都能一键脱衣没人管呢？
