在使用Selenium爬取网页资源时,为了防止被服务端识别,你可以采取以下措施:
设置User-Agent:更改默认的User-Agent,模拟真实用户的浏览器请求。
from selenium import webdriver
options = webdriver.ChromeOptions()
options.add_argument("user-agent=Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3")
driver = webdriver.Chrome(options=options) 模拟浏览行为:模拟人类的浏览行为,例如随机暂停、滚动页面、点击链接等,以减少被识别为机器人行为的可能性。
import time
import random
driver.get('https://example.com')
# 随机等待时间
time.sleep(random.uniform(2, 5))
# 滚动页面
driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")
# 随机点击链接
links = driver.find_elements_by_tag_name('a')
if links:
random.choice(links).click() 使用代理:使用代理IP来隐藏你的真实IP地址,从而减少被封禁的风险。
from selenium.webdriver.common.proxy import Proxy, ProxyType proxy = Proxy() proxy.proxy_type = ProxyType.MANUAL proxy.http_proxy = 'http://your_proxy:port' proxy.ssl_proxy = 'http://your_proxy:port' capabilities = webdriver.DesiredCapabilities.CHROME proxy.add_to_capabilities(capabilities) driver = webdriver.Chrome(desired_capabilities=capabilities)
控制请求频率:避免频繁的请求,适当控制爬取的速度和频率。
import time
import random
for url in urls:
driver.get(url)
time.sleep(random.uniform(3, 10)) # 随机等待3到10秒 处理Cookies和Session:保持Cookies和Session的一致性,以模拟正常用户的行为。
cookies = driver.get_cookies()
for cookie in cookies:
driver.add_cookie(cookie) 浏览器设置:尽量避免使用无头模式(headless mode),因为某些网站会检测无头浏览器。
options = webdriver.ChromeOptions()
# 不使用无头模式
# options.add_argument("--headless")
driver = webdriver.Chrome(options=options) 通过以上措施,可以有效减少被服务端识别为爬虫的风险,从而提高爬取的成功率和效率。
网友回复
视频大模型和最强文本大模型通过代码生成视频哪个性价比更高?
seedream5.5为啥无法将图白色背景修改成透明?
seedance2如何通过2张不同角度平视图来识别场景进行人物定位?
有没有免费的浏览器中离线运行的语音识别ai模型?
微信小程序个人版不交钱认证就不让你用二维码,报错"errcode":85411?
美丽国为啥要限制ai发展?
seedance2如何参考白模视频使用真实场景和人物生成新视频?
如何设定小孩看电视的时候每隔10分钟弹出一个题目,答对才能继续,答错继续下一题?
直播数字人根据公屏互动评论实时做出不用动作技术是什么?
未来ai文本大模型根据剧本直接生成像素风或三维白模或灰模粗糙场景动画html给视频大模型参考站位与运镜?


