# 51黑料网 — 站群 robots.txt（SEO 优化版）
# 规则：禁止写死固定域名；线上按当前 HTTP_HOST / X-Forwarded-Host 动态生成
# 模式：动态绝对地址（当前域名 www.saluschina.com，由 HTTP_HOST 解析，非写死）
# 订阅：/rss.xml 与 /feed.xml 内容一致（双入口）
# 生成时间：2026-09-25 04:41:40

User-agent: *
Allow: /
Allow: /article/
Allow: /category/
Allow: /celebrity/
Allow: /trending/
Allow: /about/
Allow: /sitemap/
Allow: /assets/
Allow: /sitemap.xml
Allow: /rss.xml
Allow: /feed.xml
Disallow: /cgi-bin/
Disallow: /*?*utm_
Disallow: /*?*from=
Disallow: /*?*display=
Disallow: /*?*spm=
Disallow: /site-config.php

# 百度：清理追踪参数（站群多域名通用）
Clean-param: utm_source&utm_medium&utm_campaign&utm_term&utm_content&from&display&spm /

# —— 国内搜索引擎 ——
User-agent: Baiduspider
Allow: /
Crawl-delay: 1

User-agent: Baiduspider-image
Allow: /
Allow: /assets/

User-agent: Baiduspider-video
Allow: /

User-agent: Baiduspider-news
Allow: /

User-agent: Sogou web spider
Allow: /
Crawl-delay: 1

User-agent: Sogou News Spider
Allow: /

User-agent: 360Spider
Allow: /

User-agent: 360Spider-Image
Allow: /

User-agent: Bytespider
Allow: /

User-agent: YisouSpider
Allow: /

User-agent: Sosospider
Allow: /

User-agent: ShenmaSpider
Allow: /

# —— 国际搜索引擎 ——
User-agent: Googlebot
Allow: /

User-agent: Googlebot-Image
Allow: /

User-agent: Googlebot-News
Allow: /

User-agent: Bingbot
Allow: /

User-agent: DuckDuckBot
Allow: /

User-agent: Yandex
Allow: /

# 站点地图（随当前访问域名动态变化，禁止写死某一域名）
Sitemap: http://www.saluschina.com/sitemap.xml

# RSS / Feed 双入口
# /rss.xml
# /feed.xml
# /feed
# /rss