AI Crawler คือบอทที่แพลตฟอร์ม AI ส่งมาเก็บข้อมูลจากเว็บ การถูก AI อ้างอิงจึงเริ่มต้นที่การอนุญาตให้บอทเหล่านี้เข้าถึงเนื้อหาได้ ปัญหาที่พบบ่อยคือหลายเว็บบล็อกบอทเหล่านี้ไว้โดยไม่รู้ตัว ทั้งจากค่าตั้งต้นของ CMS ปลั๊กอินความปลอดภัย หรือคำสั่งเก่าที่ไม่มีใครกลับไปตรวจ
Key Highlight
- AI Crawler ที่ธุรกิจไทยควรรู้จักมี 6 ตัวหลัก แต่ละตัวเอาข้อมูลไปใช้คนละวัตถุประสงค์
- บอทเพื่อเทรนโมเดลกับบอทเพื่อการค้นหาเป็นคนละตัว ต้องตัดสินใจแยกกัน ไม่ควรเหมารวมเป็นนโยบายเดียว
- ปิด GPTBot แต่เปิด OAI-SearchBot ยังมีสิทธิ์ถูกอ้างอิงใน ChatGPT ที่ค้นสด ขณะที่ปิดทั้งคู่คือหายจากระบบ
- ตรวจสถานะปัจจุบันของเว็บได้ใน 15 นาที ด้วยการอ่าน robots.txt และดู server log
- เปิดให้เข้าถึงเป็นเงื่อนไขจำเป็นแต่ไม่เพียงพอ ต้องต่อด้วยโครงสร้างเนื้อหาและ entity ที่ชัด
บทนำ
ในการตรวจเว็บลูกค้าองค์กรของ The Conductor เรื่องที่เจอซ้ำที่สุดเรื่องหนึ่งคือ ทีมการตลาดตั้งใจทำคอนเทนต์เพื่อให้ AI พูดถึงแบรนด์ แต่ฝั่งไอทีตั้งค่า robots.txt ปิดบอท AI ไว้ตั้งแต่ปีก่อน ด้วยเหตุผลด้านลิขสิทธิ์ที่ไม่เคยถูกทบทวนอีกเลย
ผลคือทั้งสองฝ่ายทำงานสวนทางกันโดยไม่มีใครผิด ปัญหาอยู่ที่ไม่มีใครมองภาพรวมว่า การตัดสินใจเรื่องบอทหนึ่งบรรทัด ส่งผลต่อการมองเห็นแบรนด์บนแพลตฟอร์ม AI ทั้งหมด
บทความนี้เป็นคู่มือชั้นการเข้าถึง ครอบคลุมรายชื่อบอทที่ต้องรู้จัก ความต่างระหว่างบอทเทรนกับบอทค้นหา วิธีตรวจสถานะเว็บของคุณวันนี้ และตัวอย่างนโยบายสามแบบพร้อมผลที่ตามมาของแต่ละทาง โดยไม่ตัดสินแทนว่าคุณควรเลือกทางไหน
AI Crawler คืออะไร มีตัวไหนบ้างที่ต้องรู้จัก?
AI Crawler คือโปรแกรมอัตโนมัติที่ผู้ให้บริการ AI ใช้เข้ามาอ่านและเก็บเนื้อหาจากเว็บสาธารณะ แต่ละตัวประกาศชื่อ user-agent ของตัวเองไว้ในเอกสารทางการ เพื่อให้เจ้าของเว็บเลือกอนุญาตหรือปฏิเสธได้ผ่าน robots.txt
ข้อควรรู้คือ Google-Extended ไม่ใช่บอทที่เข้ามาคลานเว็บแยกต่างหาก แต่เป็นตัวควบคุมสิทธิ์การนำเนื้อหาที่ Googlebot เก็บไปแล้วไปใช้กับผลิตภัณฑ์ AI การปิดตัวนี้จึงไม่กระทบการจัดอันดับใน Google Search ตามเอกสารของ Google Search Central
Crawler เพื่อเทรนโมเดล กับ เพื่อการค้นหา ต่างกันอย่างไร?
บอทเพื่อเทรนโมเดลเก็บข้อมูลไปใช้สอนโมเดลรุ่นถัดไป ส่วนบอทเพื่อการค้นหาเก็บข้อมูลไปทำดัชนีสำหรับตอบคำถามสดพร้อมลิงก์อ้างอิง สองอย่างนี้ให้ผลกับแบรนด์คนละแบบ และควรตัดสินใจแยกกัน
ความเข้าใจผิดที่พบบ่อยที่สุดคือการเหมารวมว่า "ปิดบอท AI ทั้งหมด" เท่ากับปกป้องเนื้อหา ทั้งที่ในทางปฏิบัติ การปิดบอทฝั่งค้นหาคือการเลือกหายไปจากคำตอบที่มีลิงก์กลับมาหาเว็บของคุณ ซึ่งเป็นช่องทางที่ส่งทราฟฟิกกลับมาจริง
ฝั่ง OpenAI: GPTBot กับ OAI-SearchBot
GPTBot คือบอทเก็บข้อมูลเพื่อการเทรน ส่วน OAI-SearchBot คือบอทที่ทำดัชนีให้ ChatGPT ค้นหาสด หากองค์กรกังวลเรื่องการนำเนื้อหาไปเทรน แต่ยังต้องการให้แบรนด์ปรากฏในคำตอบพร้อมลิงก์ ทางเลือกที่หลายองค์กรใช้คือปิด GPTBot แต่เปิด OAI-SearchBot
ฝั่ง Google: Google-Extended กับ Googlebot
Googlebot คือบอทที่ทำให้เว็บติดอันดับใน Google Search ส่วน Google-Extended ควบคุมเฉพาะการนำเนื้อหาไปใช้กับผลิตภัณฑ์ AI การปิด Google-Extended จึงไม่ทำให้อันดับ organic หายไป แต่จะลดโอกาสที่เนื้อหาจะถูกใช้ในบริบท AI ของ Google
วิธีตรวจว่าวันนี้เว็บคุณบล็อกใครอยู่
การตรวจสถานะปัจจุบันใช้เวลาไม่เกิน 15 นาที และทำได้เองโดยไม่ต้องใช้เครื่องมือพิเศษ ให้ทำตามสามขั้นตามลำดับ
- ขั้นที่ 1 เปิด yourdomain.com/robots.txt แล้วอ่านทีละบรรทัด มองหาบล็อก User-agent ที่ตรงกับชื่อบอทในตารางด้านบน และดูว่าตามด้วย Disallow เครื่องหมายทับหรือไม่
- ขั้นที่ 2 ตรวจว่ามีคำสั่ง User-agent ดอกจัน ตามด้วย Disallow เครื่องหมายทับอยู่หรือเปล่า เพราะคำสั่งนี้ปิดบอททุกตัวที่ไม่มีกฎเฉพาะของตัวเอง
- ขั้นที่ 3 เปิด server log หรือรายงานการเข้าถึงจากผู้ให้บริการโฮสต์ แล้วกรองด้วยชื่อ user-agent เพื่อดูว่าบอทตัวไหนเข้ามาจริงในรอบ 30 วันที่ผ่านมา
สิ่งที่ต้องระวังคือปลั๊กอินความปลอดภัยและบริการ CDN บางตัวบล็อกบอทที่ชั้นเซิร์ฟเวอร์ ทำให้ robots.txt เขียนอนุญาตไว้ แต่บอทยังเข้าไม่ได้จริง กรณีนี้ต้องดูที่ log เท่านั้นจึงจะเห็น
ตัวอย่าง robots.txt ที่แนะนำสำหรับธุรกิจไทย
ไม่มีนโยบายเดียวที่เหมาะกับทุกธุรกิจ สามแบบด้านล่างครอบคลุมกรณีส่วนใหญ่ พร้อมผลที่ตามมาของแต่ละทาง เพื่อให้ทีมการตลาดและไอทีคุยกันบนข้อมูลชุดเดียวกัน
นโยบาย A เปิดทั้งหมด
อนุญาตบอททุกตัวทั้งฝั่งเทรนและฝั่งค้นหา เหมาะกับธุรกิจบริการที่ต้องการการมองเห็นสูงสุดและไม่มีเนื้อหาที่เป็นทรัพย์สินทางปัญญาเฉพาะ ผลที่ตามมาคือโอกาสถูกอ้างอิงสูงที่สุด แลกกับการที่เนื้อหาอาจถูกนำไปใช้เทรนโมเดล
นโยบาย B เปิดเฉพาะ Search Crawler
ปิดบอทฝั่งเทรน เช่น GPTBot และ CCBot แต่เปิดบอทฝั่งค้นหา เช่น OAI-SearchBot และ PerplexityBot เหมาะกับองค์กรที่มีนโยบายด้านลิขสิทธิ์ชัดเจน แต่ยังต้องการทราฟฟิกและการอ้างอิงกลับมาที่เว็บ เป็นทางเลือกที่สมดุลที่สุดสำหรับองค์กรไทยส่วนใหญ่
นโยบาย C ปิดทั้งหมด
ปิดบอท AI ทุกตัว เหมาะกับเว็บที่มีเนื้อหาสมาชิกหรือข้อมูลที่มีข้อผูกพันทางกฎหมาย ผลที่ตามมาคือแบรนด์จะหายจากคำตอบที่อ้างอิงเว็บของคุณโดยตรง แต่ยังอาจถูกพูดถึงผ่านแหล่งอื่นที่เขียนถึงคุณ ซึ่งควบคุมได้ยากกว่ามาก
ไม่ว่าเลือกทางไหน ควรบันทึกเหตุผลไว้เป็นลายลักษณ์อักษร และกำหนดรอบทบทวนอย่างน้อยปีละครั้ง เพราะรายชื่อบอทและนโยบายของแต่ละแพลตฟอร์มเปลี่ยนบ่อยกว่าที่หลายองค์กรคาด
เปิดรับ Crawler แล้ว ควรต่อด้วยอะไร?
การเปิดให้เข้าถึงคือเงื่อนไขจำเป็นแต่ยังไม่เพียงพอ เมื่อบอทเข้าเว็บได้แล้ว งานถัดไปคือทำให้เนื้อหาที่บอทเห็นอยู่ในรูปแบบที่ระบบหยิบไปใช้ได้ง่าย
- เพิ่มไฟล์ llms.txt เพื่อชี้ให้เห็นหน้าสำคัญและบริบทของแบรนด์
- ติดตั้ง Schema ให้ตรงประเภทหน้า เพื่อให้ระบบเข้าใจว่าใครเป็นผู้เผยแพร่
- ปรับย่อหน้าเปิดของทุกหัวข้อให้ตอบจบในตัว
- ตรวจว่าเนื้อหาหลักแสดงได้โดยไม่ต้องรัน JavaScript เพราะบอทหลายตัวไม่ประมวลผลสคริปต์
หากต้องการให้ทีมภายนอกช่วยตรวจทั้งชั้นการเข้าถึงและชั้นเนื้อหาไปพร้อมกัน AI SEO Agency อย่าง The Conductor รับประเมินสถานะเว็บก่อนเริ่มงาน
คำถามที่พบบ่อยเรื่อง AI Crawler
เปิดให้ AI เทรนแล้วเสีย Content ไหม
ขึ้นกับประเภทเนื้อหาและนโยบายองค์กร เนื้อหาการตลาดทั่วไป เช่น บทความให้ความรู้และหน้าบริการ การถูกนำไปเทรนมักให้ผลบวกมากกว่า เพราะเพิ่มโอกาสที่โมเดลจะจดจำแบรนด์ ส่วนเนื้อหาที่เป็นทรัพย์สินทางปัญญาเฉพาะ เช่น งานวิจัยที่ขายได้หรือคอร์สที่มีค่าใช้จ่าย ควรพิจารณาปิดเฉพาะส่วนนั้น ไม่จำเป็นต้องปิดทั้งเว็บ
บล็อกแล้ว AI ยังพูดถึงเราได้ไหม
ยังพูดถึงได้ เพราะระบบสามารถอ้างอิงข้อมูลเกี่ยวกับแบรนด์จากแหล่งอื่นที่เขียนถึงคุณ เช่น ข่าว บทความรวมรายชื่อ หรือกระทู้ ปัญหาคือคุณจะควบคุมความถูกต้องของข้อมูลนั้นไม่ได้เลย และเมื่อ AI ให้ข้อมูลผิด การแก้จะยากกว่ามาก
กระทบ SEO เดิมไหม
การตั้งค่าบอท AI ไม่กระทบการจัดอันดับใน Google Search โดยตรง เพราะ Googlebot ทำงานแยกจาก Google-Extended สิ่งที่ต้องระวังคือการเขียน robots.txt ผิดพลาด เช่น ใส่ Disallow กว้างเกินไปจนบล็อก Googlebot ไปด้วย จึงควรทดสอบไฟล์ก่อนนำขึ้นจริงทุกครั้ง
เช็คว่า Crawler เข้าจริงได้อย่างไร
ดูจาก server log เป็นหลัก โดยกรองด้วยชื่อ user-agent แล้วนับจำนวนครั้งที่เข้าในรอบ 30 วัน หากพบว่ามีบอทเข้ามาน้อยผิดปกติทั้งที่ robots.txt เปิดไว้ ให้ตรวจการตั้งค่าที่ชั้น CDN หรือไฟร์วอลล์ต่อ เพราะการบล็อกที่ชั้นนั้นจะไม่ปรากฏใน robots.txt เลย
สรุป
ก่อนจะพูดถึงกลยุทธ์คอนเทนต์ใดๆ คำถามแรกที่ควรตอบให้ได้คือ วันนี้เว็บของคุณเปิดให้ AI Crawler ตัวไหนเข้าบ้าง เพราะถ้าด่านนี้ปิดอยู่ งานคอนเทนต์ทั้งหมดที่ทำมาจะไม่ถูกนำไปใช้เลย
หลักสำคัญคือแยกการตัดสินใจระหว่างบอทเพื่อเทรนกับบอทเพื่อการค้นหา อย่าเหมารวมเป็นนโยบายเดียว จากนั้นตรวจสถานะจริงจาก robots.txt และ server log แล้วเลือกนโยบายที่สอดคล้องกับความเสี่ยงที่องค์กรรับได้
The Conductor ตรวจชั้นการเข้าถึงนี้เป็นขั้นแรกของทุกโปรเจกต์ AI Search และพบว่าเว็บองค์กรไทยจำนวนไม่น้อยยังบล็อกบอทสำคัญไว้โดยไม่ตั้งใจ หากต้องการให้เราตรวจให้ ปรึกษาผู้เชี่ยวชาญด้าน AI Search จาก The Conductor ได้ฟรี