# robots.txt — novinfood.ir
# Updated: 2026-08-12

User-agent: GPTBot
Allow: /

User-agent: ChatGPT-User
Allow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: Google-Extended
Allow: /

User-agent: *
Allow: /

# products.csv باید توسط خزنده خوانده شود، وگرنه فهرست محصولات صفحه اصلی
# هنگام رندر خالی می‌ماند. برای جلوگیری از ایندکس شدنِ خودِ فایل، هدر
# X-Robots-Tag: noindex در .htaccess ست شده است (نه Disallow).
Allow: /products.csv

User-agent: AhrefsBot
Disallow: /

User-agent: MJ12bot
Disallow: /

User-agent: DotBot
Disallow: /

User-agent: SemrushBot
Disallow: /

# Single sitemap
Sitemap: https://novinfood.ir/sitemap.xml