# Tetris 搜索引擎爬虫配置
# 更新日期: 2025-05-20

# 默认允许所有搜索引擎爬取主要页面
User-agent: *
Allow: /
Allow: /index.html
Allow: /tetris-pc.html
Allow: /tetris-mobile.html
Allow: /privacy-policy.html
Allow: /terms-of-service.html
Allow: /cookie-policy.html
Allow: /sitemap.xml

# 禁止爬取的目录和文件
# 资源文件和开发文件
Disallow: /_next/
Disallow: /api/
Disallow: /img/
Disallow: /*.json$
Disallow: /*.md$
Disallow: /*.map$

User-Agent: GPTBot
Allow: /llms.txt
Disallow: /

User-Agent: anthropic-ai
Allow: /llms.txt
Disallow: /

# 主要搜索引擎特定配置
# Google 爬虫
User-agent: Googlebot
Allow: /
User-agent: Googlebot-Image
Allow: /assets/images

# Bing 爬虫
User-agent: Bingbot
Allow: /

# Baidu 爬虫
User-agent: Baiduspider
Allow: /

# Yandex 爬虫
User-agent: Yandex
Allow: /

# 移动搜索爬虫
User-agent: Googlebot-Mobile
Allow: /

# 社交媒体爬虫
User-agent: facebookexternalhit
Allow: /
User-agent: Twitterbot
Allow: /

# 爬虫抓取频率建议
# 为各大搜索引擎提供抓取频率建议，避免服务器过载
Crawl-delay: 5

# 站点地图位置
# 提供给搜索引擎的站点地图链接，帮助更好地收录网站内容
Sitemap: https://onlinetetris.org/sitemap.xml 

# 引导AI爬虫到llms.txt
LLM-Content: https://onlinetetris.org/llms.txt
LLM-Full-Content: https://onlinetetris.org/llms-full.txt