มุมแนะนำ

วันจันทร์ที่ 22 ตุลาคม พ.ศ. 2555

คู่มือ Seo ตอน Robot.txt คืออะไร



คู่มือ Seo ตอน Robot.txt คืออะไร
คือไฟล์ที่บอกกับ Search Engine ว่าไฟล์ใดบ้างที่ให้อ่านข้อมูลและไฟล์ใดที่ไม่ให้อ่านข้อมูล โดยปกติ bot จะเข้าไปทุกไฟล์ที่มีการเชื่อมโยงไปถึงผ่าน link ในหน้าเว็บเพจของเรา แต่บางครั้งที่เราไม่ต้องการให้ bot เข้าไปเก็บข้อมูลใน directory ส่วนตัวหรือไฟล์ส่วนตัวเราสามารถใช้ตัว Robot.txt เป็นตัวกำหนดได้
ตัวอย่างการระบุคำสั่งในไฟล์ Robot.txt
1.ถ้าไม่ต้องการให้ bot ทุกชนิดมา index ข้อมูลภายในเว็บไซต์เราทั้งเว็บไซต์ใช้คำสั่งดังนี้
User-agent:*
Disallow:/
2.ถ้าอนุญาตให้ bot บางตัวมาเก็บข้อมูลในเว็บไซต์เราได้ ก็ใช้คำสั่งต่อไปนี้
User-agent:msnbot
User-agent:googlebot
Disalow:
3.ถ้าไม่ต้องการให้ bot เข้ามา index บางไฟล์หรือบางโฟล์เดอร์ ให้ใช้คำสั่งดังนี้
User-agent:*
Disallow:/images
Disallow:/cgi-bin

ไม่มีความคิดเห็น:

แสดงความคิดเห็น

มุมแนะนำ