Googlebot ကို ပိတ်ဆို့ထားမိပါသလား − Did Your Website Block Googlebot?

Webmaster တစ်ယောက်ဟာ သူ့ရဲ့ website တွေကို Google ရဲ့ Search Engine မှာ ရှာတွေ့စေဖို့အတွက် နည်းမျိုးစုံနဲ့ ကြိုးစားရလေ့ ရှိပါတယ်။ အဲဒီလို လုပ်တဲ့အခါ မှန်တာတွေရှိသလို မှားတာတွေလည်း ရှိနေတတ်ပါတယ်။ မှန်ကန်တဲ့ လုပ်ဆောင်ချက်တွေကြောင့် ကိုယ့်ဆိုက်ရဲ့ Ranking တက်လာနိုင်ပါတယ်။ အလားတူပဲ မမှန်ကန်တဲ့ လုပ်ရပ်တွေကြောင့်လည်း ကျွန်တော်တို့ရဲ့ ဝက်ဘ်ဆိုက်တွေကို အင်တာနက်မှာ ရှာဖွေရ ခက်လာတတ်ပါတယ်။

အခု ဝေမျှချင်တဲ့ အကြောင်းအရာတွေက Google က Webmaster Trends Analyst ဖြစ်တဲ့ Pierre Far ရေးထားတဲ့ ဆောင်းပါးလေး ဖြစ်ပါတယ်။ Webmaster Trends Analyst တစ်ယာက်အနေနဲ့ သူနေ့စဉ်ကြုံတွေ့နေတဲ့ Webmaster တွေရဲ့ အခက်အခဲတွေ၊ ပြဿနာတွေနဲ့ ဖြေရှင်းနည်းတွေကို အကြံပြု ဖြေရှင်းပေးထားတဲ့ ဆောင်းပါး ဖြစ်တဲ့အတွက် မြန်မာ Webmaster, Web Developer ညီအကို မောင်နှမများ အတွက်လည်း တစ်နည်းနည်းနဲ့ အထောက်အပံ့ ရမယ်လို့ ယုံကြည်ပါတယ်။

Googlebot ကို ပိတ်ဆို့ထားခြင်း − Blocking of Googlebot crawling

Google ရဲ့ Crawler, Googlebot ကို ပိတ်ဆို့ထားမိတာကတော့ အများဆုံး ဖြစ်တတ်တဲ့ ပြဿနာ ဖြစ်ပါတယ်။ ဖြစ်ရတဲ့ အကြောင်းရင်းတွေကတော့ − Firewall သို့မဟုတ် DoS protection system configuration တွေမှာ အမှားအယွင်းရှိနေတာ၊ တခါတရံမှာ ဝက်ဘ်ဆိုက်အတွက် သုံးထားတဲ့ CMS ရဲ့ setting တွေမှားနေတာကြောင့် ဖြစ်တတ်ပါတယ်။

ကိုယ့်ဝက်ဘ်ဆိုက်ကို အကာအကွယ်လုပ်ထားတာ ကောင်းတဲ့ အလုပ်ပါ။ Hosting အတော်များများမှာ လုပ်ထားတတ်ပါတယ်။ အဲဒီ အကာအကွယ်စနစ်တွေမှာ ပုံမှန်မဟုတ်တဲ့ Server Request တွေကို တားဆီးပိတ်ဆို့ထားတဲ့ စနစ်တွေ ပါတတ်ပါတယ်။ တခါတရံမှာ Traffic များလာပြီ ဆိုတာနဲ့ အလိုလို ပိတ်ချလိုက်တာတွေ ရှိတတ်ပါတယ်။ တခါတလေမှာ Googlebot တွေက လူသား (Human Users) တွေထက် ပိုပြီး Request တွေ ပိုလုပ်လေ့ ရှိပါတယ်။ အဲဒီလို အချိန်မှာ အကာအကွယ်ပေး စနစ်တွေက Googlebot ကို ပိတ်ချလိုက်တဲ့အတွက် ကိုယ့်ဆိုက်ရဲ့ Content တွေကို Google အနေနဲ့ Crawl လုပ်လို့ မရတော့တဲ့ အနေအထား ဖြစ်သွားတတ်ပါတယ်။ Crawl လုပ်လို့ မရတော့ဘူးဆိုရင် ကိုယ့်ဆိုက်ကို အင်တာနက်မှာ ရှာတွေ့နိုင်တဲ့ ရာခိုင်နှုံး နည်းသွားပါပြီ။

ဒီပြဿနာကို ဖြေရှင်းချင်တယ် ဆိုရင်တော့ Webmaster Tools ထဲမှာပါတဲ့ Fetch as Googlebot function ကို သုံးပြီး စစ်ဆေးကြည့်နိုင်ပါတယ်။ ပြီးတော့ Webmaster Tools ထဲမှာ ပြထားတဲ့ အခြားသော Crawl Error တွေကိုလည်း စစ်ဆေးသင့်ပါတယ်။

တကယ်တော့ Googlebot တွေကို စိတ်ကြိုက်ထိန်းချုပ်လို့ရတဲ့ Tool တွေကို Webmaster တွေအတွက် ဖန်တီးပေးထားပြီး ဖြစ်ပါတယ်။ အဲဒီ Tool တွေကို သုံးမယ်ဆိုရင် Googlebot တွေကို မလိုအပ်တဲ့ နေရာတွေ Crawl မလုပ်နိုင်အောင် တားဆီးနိုင်သလို၊ လိုအပ်တဲ့ နေရာတွေမှာ ထိထိရောက်ရောက် Crawl လုပ်နိုင်အောင်လည်း ဖန်တီးနိုင်မှာပါ။

Googlebot ရဲ့ Crawling ကို ထိန်းချုပ်နိုင်တဲ့ Robots Exclusion protocol အကြောင်းနဲ့ URL တွေကို Configure လုပ်နိုင်တဲ့ Parameter တွေ အကြောင်းကို အောက်ပါ လိပ်စာတွေမှာ လေ့လာနိုင်ပါတယ်။

ပြီးတော့ ကိုယ့်ဆိုက်ကို လာပြီး Crawl လုပ်နေတဲ့ Robot ဟာ Googlebot အစစ် ဟုတ်မဟုတ် ဆိုတာ စစ်ဆေးပုံစစ်ဆေးနည်း (How to Verify whether a crawler is actually Googlebot) ကိုလည်း လေ့လာထားသင့်ပါတယ်။ တကယ်လို့ ကိုယ့်ဆိုက်ရဲ့ Googlebot crawling rate ကို ပြင်ချင်တယ်ဆိုရင်တော့၊ ကိုယ့်ဆိုက်ကို Webmaster Tools ထဲမှာ Verify လုပ်ပြီး၊ Change Googlebot's crawl rate မှာ ပြင်နိုင်ပါတယ်။

ဒီထက်ပိုပြီး အသေးစိတ် သိချင်တယ်ဆိုရင် Google ရဲ့ Crawling and indexing FAQ မှာ ဖတ်နိုင်ပါတယ်။

Ref - Tips for hosting providers and webmasters

Add new comment

Featured Articles