# ==========================================
# 2BESHOP robots.txt (FINAL - 2025-12-11)
# ==========================================

# --- 0) Block bad / aggressive bots แบบระบุชื่อ ---
User-agent: AhrefsBot
Disallow: /

User-agent: SemrushBot
Disallow: /

User-agent: MJ12bot
Disallow: /

User-agent: DotBot
Disallow: /

User-agent: BLEXBot
Disallow: /

User-agent: python-requests
Disallow: /

User-agent: python
Disallow: /

User-agent: curl
Disallow: /

User-agent: Wget
Disallow: /

User-agent: Scrapy
Disallow: /


# --- 1) Default rules สำหรับ bot ปกติทั้งหมด ---
User-agent: *

# 1.1 ✅ ปล่อยหน้า public ทุกหน้า (รวม dynamic /MODEL/SKU.html และ /app-product/)
Allow: /
Allow: /*.html$

# 1.2 ✅ ปล่อยหน้า app-product (เป็นหน้าสินค้าเต็มแล้ว)
Allow: /app-product/
Allow: /app-product/*

# 1.3 ✅ ปล่อยบทความ /article/ (WordPress article)
Allow: /article/
Allow: /article/*

# 1.4 ✅ ปล่อยไฟล์ datasheet PDF
Allow: /pdf/
Allow: /pdf/*

# 1.5 ✅ ปล่อยโฟลเดอร์ /m/ (ใช้กับ m.2beshop.com และหน้า static พิเศษ)
Allow: /m/
Allow: /m/*

# 1.6 ✅ ปล่อย static assets ที่จำเป็นต่อการ render หน้า + Core Web Vitals
Allow: /css/
Allow: /js/
Allow: /images/
Allow: /img/
Allow: /static/
Allow: /assets/
Allow: /fonts/
Allow: /cdn-cgi/


# --- 2) ⛔ บล็อกหลังบ้าน / ระบบภายใน / API / webhook / payment ---
Disallow: /admin/
Disallow: /backend/
Disallow: /system/
Disallow: /storage/
Disallow: /vendor/
Disallow: /tmp/
Disallow: /cache/
Disallow: /logs/
Disallow: /core/

# API + webhook + payment + member (ใช้สำหรับ app/LINE เท่านั้น ไม่ต้องให้ bot มายุ่ง)
Disallow: /LINEWebHook/
Disallow: /LINEPay/
Disallow: /consent/
Disallow: /uatapi/
Disallow: /api/
Disallow: /app/api/
Disallow: /template/
Disallow: /CreditCard/
Disallow: /member/

# --- 3) ⛔ บล็อก flow