01/03/2026
🆘KIỂM TRA NGAY WEBSITE BẠN CÓ ĐANG CHẶN AI BOT KHÔNG?🆘
Trong bối cảnh AI Search (ChatGPT, Google AI Overview, Claude, Perplexity…) ngày càng trở thành nguồn traffic mới, nhiều website đầu tư vào GEO – Generative Engine Optimization nhưng lại không hề biết rằng:
🤖Website của mình đang bị chặn AI Bot bởi Cloudflare hoặc robots.txt.
Điều này khiến:
* Nội dung không thể xuất hiện trong câu trả lời của AI
* Mất cơ hội traffic từ AI Search
* Chiến lược GEO gần như vô hiệu
Bài viết này sẽ hướng dẫn bạn cách kiểm tra và xử lý vấn đề này một cách hệ thống.
I. DẤU HIỆU WEBSITE ĐANG BỊ CHẶN AI BOT
Một số dấu hiệu phổ biến:
Nội dung không bao giờ được AI (ChatGPT, Gemini, Claude) trích dẫn
Kiểm tra robots.txt thấy các dòng như:
User-agent: GPTBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: ClaudeBot
Disallow: /
hoặc có thêm:
Content-Signal: search=yes, ai-train=no
kèm chú thích:
# BEGIN Cloudflare Managed content
👉 Đây là dấu hiệu Cloudflare đang quản lý và chặn AI bot.
II. CÁCH KIỂM TRA WEBSITE CÓ ĐANG CHẶN AI BOT HAY KHÔNG
✅ Bước 1: Kiểm tra file robots.txt
Truy cập: tenmiencuaban .com/robots.txt
Nếu thấy:
GPTBot = Disallow
Google-Extended = Disallow
ClaudeBot = Disallow
meta-externalagent = Disallow
=> Website đang bị chặn AI bot.
✅ Bước 2: Kiểm tra trong Cloudflare Dashboard
Vào: Security → Bots → AI Bots / Bot Management
Kiểm tra:
AI Bot blocking = ON hay OFF
Content Signals = ON hay OFF
Bot Fight Mode = ON hay OFF
😱Rất nhiều website bật sẵn mà chủ site không hề biết.
✅ Bước 3: Kiểm tra log crawl (nâng cao)
Nếu có server log:
Tìm user-agent: GPTBot, ClaudeBot, Google-Extended
Nếu không thấy request nào → khả năng cao đang bị block
III. VẤN ĐỀ LỚN: MÂU THUẪN GIỮA SEO VÀ GEO
Nhiều website đang có cấu hình như sau:
Content-Signal: search=yes, ai-train=no
User-agent: GPTBot
Disallow: /
Điều này có nghĩa:
Vừa nói “AI được đọc nhưng không được train”. Nhưng lại chặn bot AI crawl ngay từ đầu
👉 Kết quả: Content-Signal trở nên vô nghĩa vì AI không thể truy cập nội dung.
IV. CÁCH XỬ LÝ TỐI ƯU CHO WEBSITE ĐANG LÀM GEO
✅ Cấu hình robots.txt đề xuất:
User-agent: *
Allow: /
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Content-Signal: search=yes, ai-train=no
User-agent: GPTBot
Allow: /
User-agent: Google-Extended
Allow: /
User-agent: ClaudeBot
Allow: /
Hiệu quả:
✅ Google Search index bình thường
✅ AI Search có thể trích dẫn website
Vì vậy, với các website đang triển khai Generative Engine Optimization (GEO), việc đầu tiên cần làm không phải là viết thêm content, mà là: Đảm bảo AI bot có thể truy cập và hiểu nội dung website của bạn. Good luck!
