Mobile Crawl Budget

Mobile Crawl Budget là gì?

Mobile Crawl Budget là phần tài nguyên mà Googlebot dành riêng để thu thập (crawl) các trang web phiên bản di động — bao gồm cả trang được thiết kế phản ứng (responsive), trang riêng biệt cho mobile (m.example.com), và trang AMP. Đây không phải là một giới hạn cố định theo số lượng URL/ngày, mà là mức độ ưu tiên và tần suất Googlebot ghé thăm các URL di động, dựa trên khả năng phục vụ của máy chủ, chất lượng nội dung và cấu trúc kỹ thuật của website.

Google không công bố con số cụ thể về crawl budget cho từng trang, nhưng xác nhận rõ rằng: mobile crawl budget được tính riêng biệt với desktop crawl budget, đặc biệt từ khi Google triển khai Mobile-First Indexing toàn cầu (hoàn tất tháng 9/2021). Điều này có nghĩa: nếu phiên bản di động của bạn chậm, lỗi hoặc khó điều hướng, Googlebot sẽ giảm tần suất thu thập — dù phiên bản desktop hoàn hảo.

Tại sao quan trọng trong SEO?

Mobile Crawl Budget ảnh hưởng trực tiếp đến khả năng được lập chỉ mục (indexing) và cập nhật kịp thời nội dung trên thiết bị di động — kênh chiếm hơn 60% lượt tìm kiếm tại Việt Nam (theo dữ liệu Google Search Console & StatCounter, 2023–2024). Khi crawl budget bị tiêu hao vào những URL không cần thiết (ví dụ: trang lọc trùng lặp, URL phân trang thừa, redirect chuỗi dài), các trang quan trọng như bài viết mới, trang sản phẩm hoặc trang đích (landing page) có thể bị bỏ qua hoặc cập nhật chậm — dẫn đến:

• Mất cơ hội hiển thị trên kết quả tìm kiếm di động
• Nội dung mới xuất hiện muộn hoặc không được index
• Tỷ lệ index thấp hơn so với số trang thực tế
• Ảnh hưởng gián tiếp đến thứ hạng do thiếu tín hiệu cập nhật thường xuyên

Điều này đặc biệt nghiêm trọng với website thương mại điện tử, tin tức hoặc blog có hàng nghìn trang thay đổi nhanh.

Cách hoạt động

Mobile Crawl Budget được Google xác định dựa trên hai yếu tố chính:

1. Crawl rate limit: Tốc độ tối đa Googlebot có thể gửi yêu cầu tới máy chủ của bạn trong một khoảng thời gian — phụ thuộc vào khả năng đáp ứng (server response time), trạng thái HTTP (200, 5xx, 4xx), và độ ổn định kết nối.
2. Crawl demand: Mức độ “mong muốn” của Google trong việc thu thập trang đó — dựa trên mức độ liên kết (internal/external links), tần suất cập nhật nội dung, mức độ phổ biến (traffic từ tìm kiếm), và độ tin cậy (authority) của domain.

Googlebot tự động điều chỉnh crawl budget theo thời gian thực. Nếu server trả lời chậm (> 1s trung bình), hoặc trả về nhiều lỗi 5xx/404, Google sẽ giảm dần crawl rate để tránh gây quá tải — ngay cả khi site có nhiều nội dung giá trị.

Hướng dẫn thực hiện

Dưới đây là các bước kiểm soát và tối ưu Mobile Crawl Budget một cách thực tế:

1. Kiểm tra trạng thái crawl hiện tại: Vào Google Search Console > Crawl Stats (tab “Hiệu suất thu thập”) → chọn “Di động”. Xem biểu đồ “Số yêu cầu mỗi ngày”, “Thời gian phản hồi trung bình”, “Tỷ lệ lỗi”.
2. Loại bỏ URL không cần thiết: Dùng robots.txt chặn các thư mục không quan trọng (ví dụ: /admin/, /cgi-bin/, /wp-includes/). Với WordPress, tắt tính năng phân trang tự động cho thẻ (tag) và danh mục nếu không dùng.
3. Tối ưu tốc độ tải di động: Đảm bảo thời gian phản hồi máy chủ (TTFB) dưới 300ms, kích thước HTML dưới 1.5MB, và sử dụng lazy loading cho ảnh/video. Kiểm tra qua PageSpeed Insights hoặc WebPageTest.
4. Sửa lỗi liên kết: Loại bỏ redirect chuỗi (301 → 301 → 200), thay bằng redirect trực tiếp. Sửa 404 thành 301 nếu URL cũ có giá trị, hoặc 410 nếu đã xóa vĩnh viễn.
5. Tăng cường cấu trúc liên kết nội bộ: Đặt liên kết tới các trang quan trọng từ trang chủ, menu chính và footer — ưu tiên URL ngắn, có từ khóa rõ ràng. Tránh “liên kết chết” hoặc href=”#” vô nghĩa.

Lỗi thường gặp

Lỗi	Dấu hiệu nhận biết	Cách khắc phục
Server trả về nhiều lỗi 5xx trên di động	Tỷ lệ lỗi 5xx tăng đột biến trong Search Console; thời gian phản hồi tăng > 2s	Kiểm tra log server, nâng cấp hosting hoặc tối ưu database; bật caching ở cấp CDN và PHP (OPcache)
URL trùng lặp với tham số (UTM, session ID)	Hàng trăm URL giống nhau chỉ khác tham số trong báo cáo “Coverage”	Dùng rel="canonical" trỏ về URL chuẩn; chặn tham số không cần thiết trong Google Search Console
Redirect vòng hoặc chuỗi dài	Googlebot ghi nhận “redirect chain” hoặc “redirect loop” trong báo cáo “Crawl Errors”	Rà soát toàn bộ redirect (301/302); thay bằng redirect một bước; loại bỏ redirect không cần thiết

Ví dụ thực tế

Một website bán hàng thời trang tại TP.HCM (domain: thoitrangxanh.vn) có 8.200 trang sản phẩm, nhưng chỉ 3.100 trang được index trên thiết bị di động. Qua phân tích Search Console, nhóm SEO phát hiện:

• Thời gian phản hồi trung bình trên mobile là 2.4s (do ảnh chưa nén + script bên thứ ba)
• Có 1.700 URL phân trang dạng /san-pham/?page=123 bị crawl nhưng không có nội dung mới
• 12% yêu cầu crawl trả về lỗi 503 (server quá tải giờ cao điểm)

Sau 3 tuần tối ưu: nén ảnh, loại bỏ phân trang thừa, thêm cache cho API, và thiết lập crawl delay hợp lý — số trang được index tăng lên 7.600, thời gian phản hồi giảm còn 0.68s, và tần suất crawl tăng 40%.

Câu hỏi thường gặp

Mobile Crawl Budget có giống Desktop Crawl Budget không?

Không. Google xử lý hai luồng crawl riêng biệt. Từ năm 2021, Mobile-First Indexing trở thành mặc định — nên mobile crawl budget thường chiếm ưu thế hơn, đặc biệt với site có cấu trúc responsive hoặc mobile-dedicated.

Có thể tăng Mobile Crawl Budget bằng cách gửi sitemap không?

Gửi sitemap giúp Google hiểu cấu trúc, nhưng không trực tiếp tăng crawl budget. Tuy nhiên, sitemap được cập nhật thường xuyên (có chứa ) có thể cải thiện crawl demand — nhất là với trang mới hoặc thay đổi gần đây.

Website AMP có ảnh hưởng đến Mobile Crawl Budget không?

AMP không còn được Google ưu tiên đặc biệt kể từ tháng 6/2021. Việc duy trì AMP riêng biệt (amp.example.com) có thể làm phân tán crawl budget nếu không quản lý canonical đúng. Hiện nay, Google khuyến nghị dùng responsive design thay vì AMP độc lập — trừ trường hợp bắt buộc về hiệu năng.