Site Speed เกี่ยวอะไรกับ AI Crawler
เวลาเราพูดว่าเว็บไซต์โหลดช้า หลายคนจะนึกถึงประสบการณ์ของผู้ใช้งานก่อน เช่น กดลิงก์แล้วต้องรอหลายวินาที หน้าเว็บค่อย ๆ แสดงผล หรือเลื่อนแล้วกระตุก สำหรับ crawler ปัญหาอยู่คนละจุด Crawler ไม่ได้เปิดเว็บไซต์ในแบบเดียวกับคนที่นั่งดูหน้าเว็บทุกครั้ง สิ่งที่เกิดขึ้นในระดับพื้นฐานคือ crawler ต้องส่ง request ไปยังเซิร์ฟเวอร์ รอการตอบกลับ ดาวน์โหลดข้อมูล และในบางระบบต้องประมวลผลทรัพยากรเพิ่มเติมเพื่อทำความเข้าใจหน้าเว็บ ถ้าเซิร์ฟเวอร์ตอบสนองช้า crawler ก็ต้องใช้เวลานานขึ้นกว่าจะได้ข้อมูลจากแต่ละ URL Google อธิบายเรื่องนี้ค่อนข้างตรงไปตรงมาในเอกสาร Crawl Budget ว่า เมื่อเซิร์ฟเวอร์ตอบสนองได้เร็วขึ้น Googlebot สามารถ Crawl หน้าเว็บได้มากขึ้นภายใต้ทรัพยากรที่มีอยู่ ขณะที่ response ที่ช้าลงหรือเกิด server error ทำให้ระบบลดการ Crawl ลงเพื่อไม่ให้กระทบเซิร์ฟเวอร์ของเว็บไซต์ จุดนี้ทำให้ต้องแยกคำว่า Page Speed กับ Crawler Accessibility ออกจากกัน เว็บที่เปิดบน Chrome แล้วรู้สึกช้าอาจไม่ได้มีปัญหากับ crawler มากนัก หาก HTML หลักถูกส่งออกมาเร็วและเนื้อหาสำคัญอยู่ใน HTML แต่เว็บที่ดูเหมือนโหลดได้ตามปกติสำหรับคน อาจมีปัญหากับ crawler หากข้อมูลสำคัญต้องรอ JavaScript, API หรือ resource อื่น ๆ ทำงานเสียก่อน Google เองอธิบายว่า Googlebot สามารถนำหน้าเว็บไปผ่าน Web Rendering Service เพื่อประมวลผล JavaScript และทรัพยากรที่เกี่ยวข้องกับการสร้างหน้าเว็บได้ แต่ทรัพยากรเหล่านั้นก็เพิ่มภาระในการ Crawl และ Render ด้วย ดังนั้นคำถามที่ถูกต้องกว่า “เว็บเร็วหรือช้า” คือ เมื่อ crawler เข้ามาขอหน้าเว็บแล้ว ข้อมูลสำคัญถูกส่งถึงมันเร็วและครบแค่ไหน
เว็บช้าไม่ได้แปลว่า AI จะไม่เลือกเว็บทันที
ตรงนี้เป็นความเข้าใจผิดที่ต้องแก้ให้ชัด เพราะชื่อบทความอาจทำให้เข้าใจว่า AI มีเกณฑ์บางอย่าง เช่น “เว็บต้องโหลดไม่เกิน 2 วินาที ไม่อย่างนั้น AI จะไม่อ่าน” ไม่มีหลักฐานจาก Google หรือ OpenAI ที่ระบุเกณฑ์แบบนั้น Google ระบุชัดว่าการเพิ่ม Crawl Rate ไม่ได้หมายความว่าจะทำให้อันดับดีขึ้นโดยอัตโนมัติ เพราะการ Crawl กับ Ranking เป็นคนละเรื่องกัน เช่นเดียวกัน OpenAI ระบุว่าเว็บไซต์ที่ต้องการให้เนื้อหาถูกค้นพบและนำไปแสดงใน ChatGPT Search ควรเปิดให้ OAI-SearchBot เข้าถึงเว็บไซต์ได้ แต่ไม่ได้ประกาศว่าเว็บไซต์ต้องผ่านคะแนน PageSpeed หรือ Core Web Vitals ระดับใดจึงจะถูกนำไปใช้ ประโยคที่แม่นกว่าคือ “ประสิทธิภาพของเว็บไซต์ที่แย่สามารถทำให้ crawler เข้าถึงเนื้อหาได้ยากขึ้น และเมื่อการเข้าถึงหรือการประมวลผลมีปัญหา โอกาสที่ระบบจะค้นพบและนำข้อมูลไปใช้ก็ได้รับผลกระทบ” ความแตกต่างของสองประโยคนี้สำคัญมาก เพราะมันเปลี่ยนวิธีแก้ปัญหา ถ้าเชื่อว่า PageSpeed Score ต้องสูงอย่างเดียว ก็อาจเสียเวลาไล่แก้คะแนน Lighthouse ขณะที่ปัญหาจริงอยู่ที่ server response, timeout, JavaScript หรือระบบป้องกัน bot
จุดที่ Site Speed เริ่มกลายเป็นปัญหาสำหรับ Crawler
1. Server ตอบสนองช้า
สมมติ crawler ขอ URL หนึ่งแล้วเซิร์ฟเวอร์ใช้เวลานานกว่าจะเริ่มส่งข้อมูลกลับมา ปัญหาไม่ได้เกิดขึ้นแค่กับผู้ใช้ แต่ crawler เองก็ต้องรอเช่นกัน Google ระบุว่าการ Crawl ถูกจำกัดด้วย bandwidth, เวลา และความพร้อมของระบบ Googlebot และแนะนำให้ปรับปรุงทั้ง server response time และทรัพยากรที่ใช้ในการโหลดหน้าเว็บเพื่อเพิ่มประสิทธิภาพการ Crawl เว็บไซต์ที่มี URL จำนวนมากจึงได้รับผลกระทบชัดกว่าเว็บขนาดเล็ก เพราะเวลาที่ใช้ไปกับแต่ละ request สะสมเป็นภาระในระดับเว็บไซต์ แต่ไม่ควรตีความว่าเว็บไซต์ทุกขนาดต้องกังวลเรื่อง Crawl Budget เท่ากัน Google ระบุเองว่าเว็บไซต์ที่มี URL ไม่กี่พันหน้าโดยทั่วไปไม่จำเป็นต้องหมกมุ่นกับเรื่อง Crawl Budget มากนัก ปัญหาจะมีความสำคัญขึ้นเมื่อเว็บไซต์มีขนาดใหญ่ มี URL จำนวนมาก หรือสร้าง URL แบบอัตโนมัติจำนวนมาก
2. Timeout และ Server Error
อันนี้สำคัญกว่า “เว็บช้า” ธรรมดาเสียอีก ถ้า crawler เข้ามาแล้วได้รับ 5xx, connection timeout หรือเซิร์ฟเวอร์มีปัญหาในการตอบ request ระบบจะมองเห็นสัญญาณว่าเซิร์ฟเวอร์กำลังรับภาระมากเกินไป Google ระบุว่า Googlebot จะลดการ Crawl เมื่อพบว่าเซิร์ฟเวอร์มีปัญหาในการตอบ request และเอกสารปัจจุบันก็แนะนำให้ตรวจสอบ availability และ serving capacity ของเว็บไซต์โดยตรง ดังนั้นเว็บไซต์ที่ช้าแต่ยังตอบ 200 OK อย่างสม่ำเสมอ กับเว็บไซต์ที่ช้าจนเกิด timeout หรือ 5xx ไม่ควรถูกมองว่าเป็นปัญหาระดับเดียวกัน แบบหลังรุนแรงกว่าอย่างชัดเจน
3. เนื้อหาสำคัญต้องรอ JavaScript
อีกปัญหาที่มักถูกเรียกรวมว่า “เว็บช้า” แต่จริง ๆ แล้วเป็นเรื่อง Rendering ลองนึกถึงบทความที่ HTML ตอนแรกมีเพียงโครงหน้าเว็บ ส่วนเนื้อหาจริงถูกโหลดผ่าน JavaScript จาก API หลังจากนั้น ผู้ใช้เปิดเว็บแล้วอาจเห็นบทความครบ เพราะ Browser ทำงานต่อให้จนทุกอย่างเสร็จ แต่ crawler ต้องสามารถเข้าถึงและประมวลผล resource ที่จำเป็นเหล่านั้นได้ด้วย Google อธิบายว่า Googlebot สามารถส่งหน้าที่ Crawl ได้ไปยัง Web Rendering Service เพื่อประมวลผล JavaScript และดึง resource ที่เกี่ยวข้องกับการ Render แต่สิ่งที่ระบบสามารถประมวลผลได้ย่อมขึ้นอยู่กับข้อมูลที่ crawler ดาวน์โหลดมาได้ตั้งแต่ต้น นี่เป็นเหตุผลว่าทำไมเว็บไซต์ที่ “เปิดได้บนเครื่องเรา” ไม่ได้แปลว่า crawler จะเห็นเนื้อหาเหมือนเราเสมอไป
4. หน้าเว็บต้องโหลด Resource มากเกินความจำเป็น
หน้าเว็บหนึ่งหน้าไม่ได้มีแค่ HTML ยังมี JavaScript, CSS, รูปภาพ, third-party scripts, tracking scripts, embedded content และ resource อื่น ๆ อีกจำนวนมาก Google ระบุว่าทรัพยากรที่จำเป็นต่อการ Render หน้าเว็บสามารถมีผลต่อ Crawl Budget ได้ และแนะนำให้ใช้ resource เท่าที่จำเป็นเพื่อให้ crawler สามารถอ่านและ Render หน้าได้อย่างมีประสิทธิภาพ สำหรับเว็บไซต์ที่มีบทความจำนวนมาก เรื่องนี้สะสมได้ ถ้าทุกบทความต้องโหลด JavaScript ชุดใหญ่จาก plugin หลายตัวเพียงเพื่อแสดงข้อความไม่กี่พันคำ ปัญหาจึงไม่ได้อยู่ที่ “บทความโหลดช้า” อย่างเดียว แต่เป็นการทำให้ระบบต้องประมวลผลสิ่งที่ไม่เกี่ยวกับสาระสำคัญของหน้า
AI Crawler เข้าถึงเว็บเหมือน Googlebot หรือไม่?
AI Crawler ไม่ได้มีเพียงตัวเดียว และแต่ละแพลตฟอร์มมี crawler รวมถึงเงื่อนไขการเข้าถึงของตัวเอง ตัวอย่างเช่น OpenAI ใช้ OAI-SearchBot สำหรับการค้นหาและแสดงเนื้อหาใน ChatGPT Search ขณะที่ Perplexity มี PerplexityBot ดังนั้นการที่ Googlebot เข้าเว็บได้ไม่ได้หมายความว่า crawler ของแพลตฟอร์มอื่นจะเข้าถึงได้เหมือนกัน เรื่องนี้เกี่ยวกับ Site Speed ตรงที่ก่อนจะพูดถึงความเร็วในการ Crawl ระบบต้องเข้าถึงเว็บไซต์ได้เสียก่อน หาก robots.txt, WAF, CDN หรือ security rule บล็อก bot ไว้ ต่อให้เซิร์ฟเวอร์ตอบสนองเร็วก็ไม่มีประโยชน์สำหรับ crawler ตัวนั้น ในทางกลับกัน หากเปิดให้เข้าถึงแต่เซิร์ฟเวอร์มี timeout หรือ error บ่อย การ Crawl ก็ยังมีปัญหาได้เช่นกัน เพราะฉะนั้นการตรวจเว็บไซต์สำหรับ AI Search ควรดูทั้งสองด้านพร้อมกัน คือ crawler ที่ต้องการสามารถเข้าถึง URL ได้หรือไม่ และเมื่อเข้าถึงแล้วเซิร์ฟเวอร์สามารถส่งเนื้อหาที่สำคัญกลับไปได้อย่างเสถียรและมีประสิทธิภาพหรือไม่
ถ้าอยากให้ AI อ่านเว็บ ควรตรวจอะไรบ้าง?
การตรวจเว็บสำหรับ AI Search ไม่ควรเริ่มจากการเปิด PageSpeed Insights แล้วไล่ทำทุกคำแนะนำให้กลายเป็นสีเขียว ให้เริ่มจากคำถามที่ตรงกว่านั้นว่า crawler เข้ามาแล้วได้รับเนื้อหาสำคัญครบหรือไม่
ตรวจ Server Response ก่อน
เริ่มจากดู server response time, timeout และ HTTP status code ว่าหน้าเนื้อหาหลักตอบกลับได้สม่ำเสมอหรือไม่ โดยเฉพาะปัญหา 5xx หรือ timeout ที่เกิดเป็นช่วง ๆ หากเว็บมีปัญหาเฉพาะตอน traffic สูง ควรตรวจต่อที่ hosting, database, PHP workers, caching, CDN และทรัพยากรของเซิร์ฟเวอร์ เพราะการปรับ Front-end อย่างเดียวไม่สามารถแก้ปัญหาที่เซิร์ฟเวอร์รับ request ไม่ไหวได้
ตรวจ robots.txt และการเข้าถึงของ Bot
ตรวจว่า crawler ที่ต้องการเปิดให้ใช้งานถูกอนุญาตจริงหรือไม่ สำหรับ Google คือ Googlebot ส่วน ChatGPT Search คือ OAI-SearchBot และแพลตฟอร์มอื่นควรตรวจตาม crawler ที่บริการนั้นประกาศไว้ นอกจาก robots.txt แล้วควรดู WAF, CDN และ security rule ด้วย เพราะ bot อาจไม่ได้ถูกบล็อกจาก robots.txt แต่ถูกปฏิเสธในระดับโครงสร้างพื้นฐานแทน
ตรวจว่าเนื้อหาสำคัญพึ่ง JavaScript มากเกินไปหรือไม่
ไม่จำเป็นต้องเลิกใช้ JavaScript แต่ไม่ควรทำให้ JavaScript กลายเป็นคอขวดของเนื้อหาหลัก เว็บไซต์ข่าว เว็บบทความ หรือเว็บธุรกิจควรทำให้ crawler เข้าถึงข้อความสำคัญได้อย่างมีประสิทธิภาพ แม้หน้าเว็บจะยังใช้ JavaScript สำหรับเมนู การโต้ตอบ หรือฟังก์ชันอื่นก็ตาม หากเนื้อหาหลักต้องรอ API หรือ client-side rendering หลายขั้นตอน ความซับซ้อนในการ Crawl และ Render ก็เพิ่มขึ้นตามไปด้วย
ตรวจ Resource ที่ไม่จำเป็น
ควรตรวจ JavaScript, third-party scripts และ resource ที่ถูกโหลดบนหน้า โดยเฉพาะกรณีที่ plugin ทำให้ทุกบทความต้องโหลดไฟล์ขนาดใหญ่ทั้งที่หน้านั้นไม่ได้ใช้ฟังก์ชันดังกล่าว Resource ที่ไม่จำเป็นไม่ได้มีต้นทุนแค่เรื่องคะแนน PageSpeed แต่ยังเพิ่มงานที่เกี่ยวข้องกับการดาวน์โหลดและ Render หน้าเว็บ ทำให้โครงสร้างของหน้าซับซ้อนขึ้นโดยไม่ช่วยให้ crawler เข้าใจเนื้อหาหลักมากขึ้น
ตัวอย่างสมมติ: เว็บเร็วแต่ AI อ่านเนื้อหาไม่ได้
ลองดูตัวอย่างสมมติที่เห็นภาพง่ายกว่า เว็บไซต์หนึ่งมีบทความคุณภาพดีมาก แต่เนื้อหาหลักของบทความถูกโหลดผ่าน JavaScript หลังจากหน้าเว็บเริ่มทำงาน และ API ที่ใช้ดึงข้อมูลตอบกลับช้าเป็นบางช่วง ผู้ใช้เปิดหน้าเว็บแล้วรอจนเห็นบทความครบจึงรู้สึกว่า “เว็บใช้ได้” แต่ crawler ต้องผ่านขั้นตอนเพิ่มเติมเพื่อให้ได้เนื้อหานั้นมา ถ้าระบบที่ใช้ Crawl หรือ Render ไม่สามารถดึงข้อมูลที่จำเป็นได้ครบ เนื้อหาที่เจ้าของเว็บไซต์ตั้งใจเผยแพร่ก็อาจไม่ได้อยู่ในสิ่งที่ระบบสามารถนำไปใช้ได้อย่างสมบูรณ์ ปัญหานี้จึงไม่ได้เกิดจากบทความเขียนไม่ดี เกิดจาก ข้อมูลดี แต่ระบบส่งข้อมูลออกมาให้เครื่องอ่านได้ไม่ดีพอ ในทางกลับกัน เว็บที่มี HTML เนื้อหาหลักครบตั้งแต่ต้น แม้มี JavaScript สำหรับเมนู ปุ่ม หรือส่วนเสริมอื่น ๆ ก็มีโครงสร้างที่ตรงไปตรงมามากกว่า นี่คือเหตุผลที่ Technical SEO ยังคงสำคัญในยุค AI Search
FAQ
เว็บโหลดช้าจะทำให้ ChatGPT ไม่เอาเว็บเราไปอ้างอิงไหม?
ไม่มีข้อมูลจาก OpenAI ที่ระบุว่าเว็บต้องผ่าน PageSpeed หรือ Core Web Vitals ระดับใดจึงจะถูกนำไปใช้ใน ChatGPT Search สิ่งที่ OpenAI ระบุคือเว็บไซต์ที่ต้องการให้เนื้อหาถูกค้นพบและนำไปแสดงควรเปิดให้ OAI-SearchBot เข้าถึงได้ และโครงสร้างพื้นฐานของเว็บไซต์ต้องรองรับ traffic จาก crawler ได้
ต้องทำ PageSpeed ให้ 100 เพื่อรองรับ AI Search หรือไม่?
ไม่จำเป็น คะแนน PageSpeed เป็นเครื่องมือช่วยวิเคราะห์ประสิทธิภาพ ไม่ใช่เกณฑ์ที่ประกาศว่า AI Search จะใช้ตัดสินเว็บไซต์โดยตรง สิ่งที่ควรให้ความสำคัญก่อนคือ server response, availability, timeout, JavaScript ที่เกี่ยวข้องกับเนื้อหา และการเข้าถึงของ crawler
JavaScript ทำให้ AI อ่านบทความไม่ได้จริงไหม?
ไม่ใช่ทุกกรณี Google สามารถประมวลผล JavaScript ผ่าน Web Rendering Service ได้ แต่ JavaScript ที่ทำให้เนื้อหาสำคัญต้องรอ API หรือ resource จำนวนมากเพิ่มความซับซ้อนในการ Crawl และ Render ดังนั้นเนื้อหาหลักควรเข้าถึงได้อย่างมีประสิทธิภาพโดยไม่พึ่ง client-side processing มากเกินความจำเป็น
References
- Google Search Central — Crawl Budget Management
- Google Search Central — Troubleshoot Google Search Crawling Errors
- Google Search Central — Crawling December: The how and why of Googlebot crawling
- Google Search Central — Inside Googlebot: demystifying crawling, fetching, and the bytes we process
- OpenAI — Publishers and Developers FAQ
- Perplexity Help Center — How does Perplexity follow robots.txt?





