听说百度都是根据sitemap.xml来进行站点索引，如果没有好的sitemap，可能百度不会搭理你的？是这样吗
网友回复
百度一般都是通过站的sitemap.xml来进行页面爬取和索引，所以你必须在网站的根目录下生成一个sitemap.xml文件，让百度知道你的站点更新的啥，sitemap.xml的地址可以放到 robots.txt 文件中。
根目录 robots.txt如下，这里定义了user-agent，表示容许哪些爬虫来爬取，*表示所有，百度叫Baiduspider，谷歌叫Googlebot,Disallow表示哪些页面和目录不容许爬取。注意：sitemap 谷歌为xml格式，百度为html格式
User-agent: * Disallow: Disallow: /admin/ Sitemap: http://domain.com/sitemap.xml那么sitemap怎么写呢
<?xml version="1.0" encoding="UTF-8" ?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9"
xmlns:mobile="http://www.baidu.com/schemas/sitemap-mobile/1/">
<url>
<loc>https://www.domian.com/</loc>
<mobile:mobile ...点击查看剩余70%
by thinkfuture
我知道答案，我要回答
私活外包
最新提问
gpt-image2能直接将图片转成分层透明的psd设计文件？
claude code、codex、gemini cli如何切换国内大模型使用？
蒸馏最强ai大模型是中小ai模型低成本升级的最好通道？
arena.ai上为啥没有最新的claude4.7及gpt5.5呢？
ai大模型公司为啥开始大量招聘文科生了？
cloudflared如何在低版本centos6或7上安装？
bfwsoa框架如何开启异步缓存与异步任务模式？
selenium如何获取网页js加载渲染后的真实dom结构？
go编写的Eino与python编写的langchain如何选择？
LangChain如何编写多个agent协同工作的代码？
