为啥wget命令只能下载单个html网页却无法下载网页内js、css、图片?也无法下载其他的网页链接?
用克隆网站镜像命令
wget --mirror --convert-links --page-requisites --no-parent -e robots=off -P E:\site http://www.example.com/或普通命令都不行
wget -r -p -np -k -E https://www.example.com/ --no-check-cer都只能下载单独的html文件,为啥下载不了其他的html链接及js css 图片?
网友回复
有可能对方网站设置了robot协议,禁止下载,wget默认是遵循爬取协议的,可以设置禁用robot协议
-e robots=off
wget -r -p -np -k -E -e robots=off https://www.example.com/ --no-check-cer