এক্সএমএল সাইটম্যাপ হলো একটি ফাইল, যাতে আপনার ওয়েবসাইটের সেই পেজগুলোর তালিকা থাকে যা আপনি সার্চ ইঞ্জিনকে জানাতে চান। robots.txt হলো একটি সাধারণ টেক্সট ফাইল, যা সার্চ ইঞ্জিনের ক্রলারকে বলে সাইটের কোন অংশ ক্রল করবে না। সাইটম্যাপ বলে "এগুলো জরুরি", আর robots.txt বলে "এখানে যেও না"। কোনো ফাইলই গুগলকে র‍্যাংক করতে বা পেজ সরাতে বাধ্য করে না, কিন্তু যেকোনোটিতে ভুল থাকলে জরুরি পেজ নিঃশব্দে সার্চ থেকে বাদ পড়ে যেতে পারে।

এক্সএমএল সাইটম্যাপ কী করে

সাইটম্যাপ সার্চ ইঞ্জিনের জন্য বইয়ের সূচিপত্রের মতো। প্রতিটি লাইনে একটি পেজের ঠিকানা, কখনো সাথে শেষ বদলের তারিখ। গুগল লিংক ধরে পেজ খুঁজে পায়, তাই ভালোভাবে লিংক করা ছোট সাইট সাইটম্যাপ ছাড়াও পাওয়া যেতে পারে। সাইটম্যাপ সবচেয়ে কাজে আসে যখন:

  • সাইট নতুন, আর অন্য সাইট থেকে এখনও তেমন লিংক নেই,
  • পেজ অনেক, যেমন শত শত পণ্যের অনলাইন দোকান,
  • কিছু পেজে সাইটের অন্য জায়গা থেকে লিংক কম,
  • আপনি প্রায়ই পেজ হালনাগাদ করেন আর চান বদলগুলো তাড়াতাড়ি নজরে আসুক।

বেশিরভাগ প্ল্যাটফর্ম নিজেই সাইটম্যাপ তৈরি করে। ওয়ার্ডপ্রেস আর এর প্রচলিত এসইও প্লাগইন সাইটম্যাপ বানাতে পারে, বেশিরভাগ হোস্টেড অনলাইন শপ প্ল্যাটফর্মও পারে। আপনার কাজ হলো দেখা যে সেটা আছে, সঠিক পেজগুলো তালিকায় আছে, আর গুগল সার্চ কনসোলে জমা দেওয়া হয়েছে।

সাইটম্যাপে কী থাকবে

শুধু সেই পেজ, যা সার্চে দেখাতে চান: চালু পেজ যা স্বাভাবিকভাবে খোলে, রিডাইরেক্ট হয় না, আর যা মূল (ক্যানোনিকাল) সংস্করণ। ধন্যবাদ পেজ, সাইটের ভেতরের সার্চ ফলাফল, লগইন পেজ, পরীক্ষামূলক পেজ আর ডুপ্লিকেট বাদ দিন।

robots.txt কী করে

robots.txt থাকে আপনার ডোমেইনের মূলে, যেমন yourdomain.com/robots.txt, আর যে কেউ ব্রাউজারে খুলে দেখতে পারেন। এতে থাকে সহজ কিছু নিয়ম: কোন ক্রলারের জন্য নিয়ম, আর কোন পথে সেই ক্রলার ঢুকবে না। সাইটম্যাপ কোথায়, সেটাও এখানে বলে দেওয়া যায়। একটি সহজ উদাহরণ:

User-agent: *
Disallow: /cart/
Sitemap: https://yourdomain.com/sitemap.xml

এটি সব ক্রলারকে কার্ট পেজ এড়িয়ে যেতে বলে, আর সাইটম্যাপের ঠিকানা দেখিয়ে দেয়।

robots.txt যা নয়:

  • এটি গোপনীয়তার উপায় নয়। ফাইলটি সবার জন্য খোলা, তাই এতে গোপন ফোল্ডারের নাম লিখলে উল্টো সেটার বিজ্ঞাপন হয়। ব্যক্তিগত পেজ লগইন দিয়ে সুরক্ষিত করুন।
  • এটি নির্ভরযোগ্যভাবে পেজকে গুগলের বাইরে রাখে না। এটি ক্রল আটকায়, ইনডেক্স নয়। অন্য পেজ থেকে লিংক থাকলে আটকানো পেজও ফলাফলে আসতে পারে, সাধারণত বিবরণ ছাড়া। কোনো পেজ ফলাফল থেকে বাইরে রাখতে চাইলে গুগলকে ক্রল করতে দিন আর noindex ট্যাগ দিন, অথবা পেজটি সরিয়ে ফেলুন।

দুটি ফাইল পাশাপাশি

এক্সএমএল সাইটম্যাপ robots.txt
উদ্দেশ্য যে পেজ খুঁজে পাওয়াতে চান তার তালিকা ক্রলার যেখানে ঢুকবে না তার তালিকা
ধরন এক্সএমএল ফাইল সাধারণ টেক্সট ফাইল
অবস্থান সাধারণত মূলে, আর robots.txt-এ উল্লেখ থাকে সবসময় ডোমেইনের মূলে
প্রভাব খুঁজে পেতে সহায়ক পরামর্শ নিয়ম মানা ক্রলারদের জন্য নির্দেশ
সাধারণ ভুল রিডাইরেক্ট, ভাঙা বা ডুপ্লিকেট পেজ রাখা ভুল করে পুরো সাইট আটকে দেওয়া

যে ভুলে ব্যবসা সার্চ থেকে হারিয়ে যায়

  • লঞ্চের পরও "সব আটকাও" নিয়ম রেখে দেওয়া। সাইট তৈরির সময় ডেভেলপাররা প্রায়ই ক্রলার আটকে রাখেন। লঞ্চের পরও Disallow: / থেকে গেলে গুগলকে বলা হচ্ছে দূরে থাকতে। ওয়ার্ডপ্রেসে সার্চ ইঞ্জিনকে ইনডেক্স না করতে বলার রিডিং সেটিংটিও দেখে নিন।
  • CSS আর JavaScript ফাইল আটকে দেওয়া। ভিজিটর যেভাবে দেখেন, পেজ সেভাবে দেখতে গুগলের এগুলো লাগে।
  • robots.txt-এ আটকানো আর noindex একসাথে। ক্রল আটকানো থাকলে গুগল পেজের noindex ট্যাগ কখনো দেখতেই পায় না।
  • আবর্জনায় ভরা সাইটম্যাপ। পুরনো ইউআরএল, রিডাইরেক্ট আর এরর পেজ মিশ্র সংকেত পাঠায়, ক্রলারের মনোযোগ নষ্ট করে।
  • মাইগ্রেশনের পর সাইটম্যাপ ভুলে যাওয়া। নতুন সাইট, নতুন ইউআরএল, অথচ পুরনো সাইটম্যাপ। হালনাগাদ করে আবার জমা দিন।

এআই ক্রলার নিয়ে একটি কথা

কিছু এআই কোম্পানি তাদের ক্রলারের নাম প্রকাশ করে এবং বলে যে সেগুলো robots.txt মেনে চলে, ফলে নাম ধরে অনুমতি দেওয়া বা আটকানো যায়। কোনটা করবেন, সেটা ব্যবসার সিদ্ধান্ত: আটকালে আপনার কনটেন্ট কিছু এআই টুলের বাইরে থাকতে পারে, আবার অনুমতি দিলে সেই টুলগুলো আপনার ব্যবসাকে সঠিকভাবে বর্ণনা করতে পারে। নিয়ম লেখার আগে প্রতিটি কোম্পানির নিজস্ব ডকুমেন্টেশনে বর্তমান ক্রলারের নাম দেখে নিন।

নিজের সাইট কীভাবে যাচাই করবেন

  1. ব্রাউজারে yourdomain.com/robots.txt খুলুন। প্রতিটি Disallow লাইন পড়ুন আর ভাবুন সেটা থাকা উচিত কি না।
  2. সাইটম্যাপ খুঁজে খুলুন (প্রায়ই robots.txt-এর নিচে ঠিকানা থাকে)। কয়েকটি পেজ মিলিয়ে দেখুন সেগুলো চালু আর জরুরি কি না।
  3. সার্চ কনসোলে সাইটম্যাপের এরর আর robots.txt-এ আটকানো পেজের রিপোর্ট দেখুন।
  4. একটি মূল পেজে ইউআরএল ইন্সপেকশন টুল চালিয়ে নিশ্চিত হোন যে গুগল সেটা ক্রল ও ইনডেক্স করতে পারে।

এরপরও পেজ না এলে ধাপে ধাপে দেখুন গুগলে পেজ না আসার সমস্যা। দুটি ফাইলই টেকনিক্যাল এসইও অডিটের নিয়মিত অংশ, আর ডুপ্লিকেট পেজ সামলানো হয় ক্যানোনিকাল ট্যাগ দিয়ে, যা আছে ক্যানোনিকাল ইউআরএল লেখায়। পুরোটা কেউ যাচাই করে দিক চাইলে আমার এসইও, এইও ও জিইও সার্ভিস দেখুন।

সংশ্লিষ্ট সেবা এসইও, এইও, জিইও ও এআইও গুগলে ও এআই উত্তরে আপনার ব্যবসা যেন খুঁজে পাওয়া যায়: টেকনিক্যাল এসইও, কনটেন্ট, লোকাল এসইও আর গুগল বিজনেস প্রোফাইল।