Cloudflare দিয়ে AI বট ব্লক করা: বট ডিটেকশন ও নিরাপত্তা গাইড ২০২৬

ইন্টারনেটের দুনিয়ায় প্রতিদিন কোটি কোটি বট ওয়েবসাইটে ঢুঁ মারছে। তার মধ্যে
সবচেয়ে বিপজ্জনক হলো AI-চালিত ক্রলার বট, যেগুলো আপনার ওয়েবসাইটের কনটেন্ট
স্ক্র্যাপ করে, সার্ভারে অতিরিক্ত লোড ফেলে এবং আপনার মেধাস্বত্ব চুরি করে।
২০২৬ সালে এসে এই সমস্যা আরও প্রকট হয়েছে, কারণ ChatGPT, Gemini, Claude-এর মতো
বড় AI কোম্পানিগুলো ডেটা সংগ্রহের জন্য ক্রমাগত নতুন নতুন ক্রলার ছাড়ছে।
এই পরিস্থিতিতে Cloudflare হলো আপনার সবচেয়ে শক্তিশালী ঢাল।
এই গাইডে আমরা বিস্তারিত জানব কীভাবে Cloudflare ব্যবহার করে AI বট ব্লক করবেন।

AI বট আসলে কতটা বড় সমস্যা?

আপনি হয়তো ভাবছেন, বট আসলেই কি এত ক্ষতিকর? উত্তর হলো — হ্যাঁ, অবশ্যই।
একটি সাধারণ ব্লগ বা ই-কমার্স সাইটের মোট ট্র্যাফিকের ৪০ থেকে ৬০ শতাংশ পর্যন্ত
বট ট্র্যাফিক হতে পারে। এই বটগুলো শুধু কনটেন্ট চুরি করে না, পাশাপাশি
আপনার হোস্টিং ব্যান্ডউইথ নষ্ট করে এবং সার্ভার স্লো করে দেয়।

Cloudflare প্রতিদিন ১০০ বিলিয়নেরও বেশি বট রিকোয়েস্ট ব্লক করে এবং
তাদের নেটওয়ার্ক বিশ্বের সবচেয়ে বড় বট ডিটেকশন সিস্টেমগুলোর একটি হিসেবে
স্বীকৃত।

এই বিশাল সংখ্যাটা বলে দেয় পরিস্থিতি কতটা গুরুতর। Cloudflare-এর ডেটা
অনুযায়ী, AI ক্রলারের সংখ্যা ২০২৪ সালের তুলনায় ২০২৬ সালে প্রায় তিনগুণ
বেড়ে গেছে।

Cloudflare-এর AI ক্রলার ডিটেকশন কীভাবে কাজ করে?

Cloudflare তাদের AI Crawler Detection সিস্টেমে একটি উন্নত প্রযুক্তি ব্যবহার করে।
এই সিস্টেমের মূলে রয়েছে Precursor AI মডেল — যা রিয়েল-টাইমে
প্রতিটি রিকোয়েস্ট বিশ্লেষণ করে এবং সেটি মানুষের কি না বটের, তা নির্ধারণ করে।
Precursor মডেলটি মূলত একটি lightweight machine learning classifier যা
পরিচিত AI ক্রলারের আচরণগত প্যাটার্ন শনাক্ত করতে পারদর্শী।

Cloudflare-এর বট ডিটেকশনে যে বিষয়গুলো বিশ্লেষণ করা হয়:

User-Agent স্ট্রিং: GPTBot, ClaudeBot, Bingbot ইত্যাদি পরিচিত AI ক্রলারের সিগনেচার শনাক্ত করা।
রিকোয়েস্ট ফ্রিকোয়েন্সি: মানুষের চেয়ে অনেক দ্রুত গতিতে পেজ লোড হলে সেটি বট হিসেবে চিহ্নিত হয়।
IP রেপুটেশন: পরিচিত ডেটাসেন্টার বা বট নেটওয়ার্কের IP রেঞ্জ থেকে আসা ট্র্যাফিক ব্লক করা।
TLS ফিঙ্গারপ্রিন্টিং: কানেকশন-লেভেলে বটের পরিচয় যাচাই করা।
জাভাস্ক্রিপ্ট চ্যালেঞ্জ: ব্রাউজারে JS রান করতে না পারলে বট হিসেবে চিহ্নিত করা।
Behavioral Analysis: মাউস মুভমেন্ট, স্ক্রোলিং প্যাটার্ন ইত্যাদি মানবিক আচরণ পরীক্ষা করা।

Cloudflare দিয়ে AI বট ব্লক করার ধাপে ধাপে গাইড

Cloudflare-এ AI বট ব্লক করা এখন আগের চেয়ে অনেক সহজ। নিচে ধাপগুলো দেওয়া হলো:

ধাপ ১ — Cloudflare ড্যাশবোর্ডে লগইন করুন: আপনার অ্যাকাউন্টে লগইন করে সংশ্লিষ্ট ডোমেইন সিলেক্ট করুন।
ধাপ ২ — Security সেকশনে যান: বাম মেনু থেকে Security > Bots অপশনে ক্লিক করুন।
ধাপ ৩ — Bot Fight Mode চালু করুন: ফ্রি প্ল্যান ব্যবহারকারীরা “Bot Fight Mode” এনেবল করতে পারবেন।
ধাপ ৪ — AI Scrapers ব্লক করুন: Security > WAF-এ গিয়ে Custom Rules তৈরি করুন যেখানে known AI crawlers ব্লক করা থাকবে।
ধাপ ৫ — Firewall Rules কাস্টমাইজ করুন: নির্দিষ্ট User-Agent যেমন GPTBot, CCBot, ClaudeBot ব্লক করতে Expression Editor ব্যবহার করুন।

Cloudflare-এর Super Bot Fight Mode (Pro ও Business প্ল্যানে পাওয়া যায়)
ব্যবহার করে আপনি “Definitely Automated” এবং “Likely Automated” বটগুলোকে
আলাদাভাবে ম্যানেজ করতে পারবেন — এটি ছোট ওয়েবসাইটের মালিকদের জন্য
একটি গেম চেঞ্জার ফিচার।

robots.txt বনাম Cloudflare — কোনটি বেশি কার্যকর?

অনেকে মনে করেন robots.txt ফাইলে AI বট ব্লক করলেই যথেষ্ট।
কিন্তু বাস্তবতা হলো, সব AI ক্রলার robots.txt মেনে চলে না।
Cloudflare-এর সুবিধা হলো এটি নেটওয়ার্ক লেভেলে কাজ করে — অর্থাৎ বট
আপনার সার্ভারে পৌঁছানোর আগেই ব্লক হয়ে যায়। এতে সার্ভার রিসোর্স বাঁচে এবং
নিরাপত্তা আরও শক্তিশালী হয়।

robots.txt শুধু ভদ্র বটদের জন্য কাজ করে।
Cloudflare দুষ্ট ও অবাধ্য বটদেরও ব্লক করতে পারে।
Cloudflare রিয়েল-টাইম ডেটার উপর ভিত্তি করে সিদ্ধান্ত নেয়।
দুটো একসাথে ব্যবহার করলে সুরক্ষা সর্বোচ্চ হয়।

FAQ

Cloudflare-এর ফ্রি প্ল্যানে কি AI বট ব্লক করা যায়?

হ্যাঁ, Cloudflare-এর ফ্রি প্ল্যানেও “Bot Fight Mode” ফিচারটি পাওয়া যায়।
এটি চালু করলে সাধারণ AI ক্রলার ও স্ক্র্যাপার বটগুলো স্বয়ংক্রিয়ভাবে ব্লক হয়।
তবে আরও উন্নত নিয়ন্ত্রণের জন্য Pro বা Business প্ল্যানের Super Bot Fight Mode
বেশি কার্যকর।

GPTBot বা ClaudeBot কি Cloudflare দিয়ে ব্লক করা সম্ভব?

অবশ্যই। Cloudflare-এর WAF Custom Rules ব্যবহার করে আপনি নির্দিষ্ট
User-Agent যেমন GPTBot, ClaudeBot, CCBot
সহজেই ব্লক করতে পারবেন। Expression হবে এরকম:
(http.user_agent contains "GPTBot") or (http.user_agent contains "ClaudeBot")
— এই রুলটি যোগ করলেই ওই বটগুলো আর আপনার সাইটে প্রবেশ করতে পারবে না।

Cloudflare কি সব ধরনের ভালো বট যেমন Google Bot-কেও ব্লক করে?

না। Cloudflare স্বয়ংক্রিয়ভাবে যাচাইকৃত ভালো বটগুলো যেমন Googlebot,
Bingbot, Facebook Crawler ইত্যাদিকে সাদা তালিকায় রাখে। আপনি চাইলে
ড্যাশবোর্ড থেকে “Verified Bots” লিস্ট দেখতে এবং কাস্টমাইজ করতে পারবেন।

Precursor AI মডেল কী এবং এটি কীভাবে কাজ করে?

Precursor হলো Cloudflare-এর নিজস্ব হালকা-ওজনের AI ক্লাসিফায়ার মডেল যা
প্রতিটি ইনকামিং রিকোয়েস্ট মিলিসেকেন্ডের মধ্যে বিশ্লেষণ করে। এটি
পরিচিত AI ক্রলারের আচরণগত প্যাটার্ন ও ফিঙ্গারপ্রিন্টের সাথে মিলিয়ে
সিদ্ধান্ত নেয় যে রিকোয়েস্টটি মানুষের নাকি বটের। এই মডেলটি Cloudflare-এর
বিশ্বব্যাপী নেটওয়ার্কে চলে, তাই এটি অত্যন্ত দ্রুত ও নির্ভুল।

বট ব্লক করলে কি ওয়েবসাইটের SEO ক্ষতিগ্রস্ত হবে?

না, যদি আপনি সঠিকভাবে কনফিগার করেন। Googlebot ও Bingbot-এর মতো সার্চ
ইঞ্জিন বটগুলো Cloudflare স্বয়ংক্রিয়ভাবে অনুমতি দেয়। শুধু ক্ষতিকর ও
AI স্ক্র্যাপার বটগুলো ব্লক করলে আপনার SEO-তে কোনো নেগেটিভ প্রভাব পড়বে না,
বরং সার্ভার পারফরম্যান্স ভালো হওয়ায় পেজ লোড স্পিড বাড়বে যা SEO-তে
পজিটিভ প্রভাব ফেলবে।