# https://www.robotstxt.org/robotstxt.html User-agent: * # 允许爬虫访问 - 移动端和Web端都有的公开页面 Allow: /$ Allow: /live$ Allow: /login$ Allow: /searchPage$ Allow: /share$ # 个人主页(主播/用户ID)- 两者都有 Allow: /[0-9]+$ # 禁止爬虫访问的路径 Disallow: /api/ # Sitemap Sitemap: https://www.buzzcast.com/sitemap.xml Sitemap: https://m.buzzcast.com/sitemap.xml