เป็นที่ทราบกันดีว่าถ้าคุณนำข้อมูลใส่เข้าไปบนอินเทอร์เน็ตนั่นก็หมายความว่าคุณยอมรับ
ที่จะเผยแพร่ข้อมูลนั้นต่อสาธารณ เพียงแค่ใช้ ชื่อหรืออีเมล ของบุคคลที่คุณต้องการสืบค้น
เสิร์ชด้วยกูเกิลคุณก็จะพบกับข้อมูลมากมาย

วิธีที่จะช่วยให้เว็บไซท์ หรือ บางเพจของเว็บไม่ให้ถูกค้นเจอด้วย search engine

1.ใส่ robots meta tag ในเพจที่ไม่ต้องการให้ search engine เก็บข้อมูลไปทำ index

ค่า NAME ที่สามารถใส่เข้าไปได้

• ROBOTS หมายถึง robots ของทุกตัว
• GOOGLEBOT หมายถึง การเจาะจงให้มีผลเฉพาะ robot ของ google

ค่า CONTENT ที่สามารถใส่เข้าไปได้

• NOINDEX หมายถึง ไม่ให้ทำ index เพจนี้
• NOFOLLOW หมายถึง ห้ามตาม link ที่ปรากฏในเพจนี้
• NOARCHIVE หมายถึง ห้าม cache เพจนี้

2.สร้างไฟล์ robots.txt ไว้ที่ root / top level ไดเรคทอรี่

เมื่อ robots เข้ามาเยี่ยมเว็บไซท์เรา มันจะมองมาไฟล์ robots.txt ก่อน
เช่น url เว็บไซท์ http://www.example.com/ robot ก็จะเข้าไปที่
http://www.example.com/robots.txt เป็นอันดับแรก
ถ้าเราใส่โคดข้างล่างนี้เข้าไปในไฟล์ robots.txt

robots มันก็จะออกไปจากเว็บไซท์เราทันที

“User-agent: *”  หมายความว่า ให้มีผลกับ robots ทุกตัว
“Disallow: /” คือ การบอกให้ robots ไม่ต้องเข้ามายุ่มย่ามเว็บไซท์นี้

วิธีนี้ก็สามารถระบุตัว robot ได้เช่นเดียวกับวิธีแรกโดยใส่ค่า User-agent ดังนี้

“User-agent: Google”

มาดูกันอีกตัวอย่างนึง

“Disallow: /cgi-bin/ ” หมายความว่า ห้าม robots ตัวใด ๆ เข้าไปโฟลเดอร์ cgi-bin
“Disallow: /junk/foo.html” หมายความว่า ห้าม robots ตัวใด ๆ เข้าไปยุ่งกะไฟล์
foo.html ที่อยู่ในโฟลเดอร์ junk

ตัวอย่างเว็บที่ใช้ robots.txt

• http://www.pantip.com/robots.txt
• http://www.amazon.com/robots.txt
• http://www.google.com/robots.txt
• http://www.ebay.com/robots.txt
• http://edition.cnn.com/robots.txt

Reference:

• http://googlewebmastercentral.blogspot.com/2007/03/using-robots-meta-tag.html
• http://www.robotstxt.org/robotstxt.html