两则有点不用,特别是selenium要注意顺序,还有参数设置,否则代理会无效。
requests
import requests
# 定义代理
proxies = {
'http': 'http://代理ip或域名:端口',
}
# 定义请求头(可选)
headers = {
'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) HeadlessChrome/86.0.4240.111 Safari/537.36'
}
# 发送GET请求
url = 'http://example.com'
response = requests.get(url, proxies=proxies, headers=headers)
# 打印响应内容
print(response.text)selenium#!/usr/local/python3/bin/python3
# -*- coding: utf-8 -*
from selenium import webdriver
from selenium.webdriver.common.keys import Keys
from time import sleep
from bs4 import BeautifulSoup
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
import html
chromeOptions = webdriver.ChromeOptions()
# 添加代理参数
chromeOptions.add_argument('--proxy-server=http://代理ip或域名:端口')
#不要开启remote-debugging-port=9222,否则代理就会失效,headless也要放到后面
chromeOptions.add_argument("--headless")
#chromeOptions.add_argument("--remote-debugging-port=9222")
chromeOptions.add_argument('--no-sandbox')
browser = webdriver.Chrome('/usr/bin/chromedriver',chrome_options=chromeOptions)
browser.get("http://example.com") #进入相关网站
try:
sleep(1)
html_content = browser.page_source
# 使用BeautifulSoup解析网页内容
#soup = BeautifulSoup(html_content, 'html.parser')
print(html.escape(html_content))
browser.quit()
finally:
# 关闭浏览器
browser.quit()
网友回复
如何破解绕开seedance2.0真人照片生成视频 限制?
python有哪些算法可以将视频中的每个帧图片去除指定区域水印合成新的视频?
iphone的激光雷达数据能否实时传输到three三维空间中?
豆包sora等ai视频生成大模型生成的视频水印如何去除?
python如何实现在电脑上拨号打电话给手机?
具身机器人与人形机器人区别?
nodejs如何将一个完整的js代码文件切割成不同的部分混淆后动态加载进入html运行?
为啥windows.onerror捕获js错误是这样的{"message":"Script error.","source":"","lineno":0,"colno":0,"stack":null,
2026年ai将全面接管编程?
WebMCP是干啥的?


