听说百度都是根据sitemap.xml来进行站点索引，如果没有好的sitemap，可能百度不会搭理你的？是这样吗
网友回复
百度一般都是通过站的sitemap.xml来进行页面爬取和索引，所以你必须在网站的根目录下生成一个sitemap.xml文件，让百度知道你的站点更新的啥，sitemap.xml的地址可以放到 robots.txt 文件中。
根目录 robots.txt如下，这里定义了user-agent，表示容许哪些爬虫来爬取，*表示所有，百度叫Baiduspider，谷歌叫Googlebot,Disallow表示哪些页面和目录不容许爬取。注意：sitemap 谷歌为xml格式，百度为html格式
User-agent: * Disallow: Disallow: /admin/ Sitemap: http://domain.com/sitemap.xml那么sitemap怎么写呢
<?xml version="1.0" encoding="UTF-8" ?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9"
xmlns:mobile="http://www.baidu.com/schemas/sitemap-mobile/1/">
<url>
<loc>https://www.domian.com/</loc>
<mobile:mobile ...点击查看剩余70%
by thinkfuture
我知道答案，我要回答
私活外包
最新提问
python能写一个检测nginx rewrite高危漏洞的工具代码？
css如何给video视频进行mask遮罩？
windows如何同时允许两个用户远程桌面连接同一个电脑？
nginx升级到1.30.1导致无法启动 [emerg] SSL_CTX_new() failed怎么办？
什么是ASLR（地址随机化）？
有没有不依赖embedding向量的RAG技术？
有没有支持实时打断语音通话并后台帮你执行任何的ai模型？
开源ai大模型文件格式GGUF、MLX、Safetensors、 ONNX 有什么区别？
出海挣钱支付收款PayPal、Wise 、PingPong、Stripe如何选择？
如何实现类似google的图片隐形水印添加和识别技术？
