Crawled – currently not indexed

Crawled – currently not indexed là gì?

"Crawled – currently not indexed" là trạng thái xuất hiện trong Google Search Console (GSC), báo hiệu rằng Googlebot đã truy cập và thu thập (crawl) một URL trên website của bạn, nhưng chưa đưa trang đó vào cơ sở dữ liệu tìm kiếm — tức là trang không xuất hiện trong kết quả tìm kiếm của Google.

Đây không phải lỗi kỹ thuật (như 404 hay server error), cũng không phải dấu hiệu bị phạt. Thay vào đó, đây là một phần trong quy trình đánh giá tự động của Google: sau khi crawl, hệ thống sẽ phân tích nội dung, cấu trúc, mức độ tin cậy và mức độ ưu tiên trước khi quyết định có lập chỉ mục (index) hay không.

Tại sao quan trọng trong SEO?

Trạng thái này ảnh hưởng trực tiếp đến khả năng hiển thị của trang trên công cụ tìm kiếm. Nếu nhiều URL quan trọng (ví dụ: bài viết mới, trang sản phẩm, trang dịch vụ) nằm trong nhóm "Crawled – currently not indexed", nghĩa là bạn đang mất cơ hội tiếp cận người dùng tiềm năng — dù trang đã tồn tại và có thể truy cập được.

Về mặt chiến lược, nó phản ánh hiệu quả của các yếu tố như: chất lượng nội dung, cấu trúc liên kết nội bộ, tín hiệu uy tín (backlink, domain authority), và cách Google hiểu vai trò của trang trong tổng thể website. Việc theo dõi và giải quyết tình trạng này giúp tối ưu hóa tỷ lệ index — một chỉ số then chốt trong SEO kỹ thuật.

Cách hoạt động

Google thực hiện ba bước chính với mỗi URL:

1. Crawl: Googlebot gửi yêu cầu HTTP, tải HTML và tài nguyên phụ trợ (CSS, JS, hình ảnh).
2. Render & Parse: Hệ thống xử lý JavaScript (nếu có), xây dựng DOM, trích xuất văn bản, thẻ meta, liên kết nội bộ và tín hiệu cấu trúc.
3. Evaluate for Indexing: Dựa trên hàng trăm tín hiệu (độ độc đáo, độ sâu liên kết, thời gian tồn tại, mức độ tương tác dự kiến, trùng lặp nội dung, noindex…), Google quyết định có thêm trang vào chỉ mục hay không.

"Crawled – currently not indexed" xảy ra ở bước thứ ba — khi Google đã hoàn tất crawl và render, nhưng tạm hoãn index do đánh giá ban đầu cho thấy trang chưa đủ điều kiện hoặc chưa cần thiết để xuất hiện trong kết quả tìm kiếm.

Hướng dẫn thực hiện

Dưới đây là quy trình kiểm tra và xử lý trạng thái này trong Google Search Console:

1. Truy cập GSC > Coverage > Filter > Chọn "Crawled – currently not indexed".
2. Lọc theo mẫu URL: Sử dụng thanh tìm kiếm hoặc filter “URL contains” để tập trung vào nhóm trang cần kiểm tra (ví dụ: /blog/, /san-pham/).
3. Phân tích từng URL: Nhấp vào URL để xem chi tiết — chú ý phần "Last crawled", "Detected", và các cảnh báo (nếu có).
4. Kiểm tra thủ công: Mở URL ở chế độ ẩn danh, kiểm tra:
   • Có thẻ <meta name="robots" content="noindex"> hoặc header X-Robots-Tag: noindex không?
   • Trang có bị chặn bởi robots.txt không? (Dùng công cụ robots.txt Tester trong GSC)
   • Nội dung có quá ngắn, trùng lặp, hoặc thiếu giá trị rõ ràng không?
   • Liên kết nội bộ tới trang có đủ mạnh không? (Số lượng và vị trí liên kết từ trang chủ/trang danh mục)
5. Yêu cầu lập chỉ mục lại: Nếu đã sửa lỗi, chọn URL > nhấn "Request indexing". Lưu ý: Chỉ áp dụng sau khi đảm bảo trang đạt tiêu chuẩn (có nội dung đầy đủ, không bị chặn, có liên kết hợp lý).

Lỗi thường gặp

Dưới đây là những nguyên nhân phổ biến khiến URL bị giữ ở trạng thái "Crawled – currently not indexed", kèm cách khắc phục:

Nguyên nhân	Dấu hiệu nhận biết	Cách khắc phục
Thẻ noindex vô tình	Hiện trong phần "Page indexing" của GSC hoặc qua kiểm tra mã nguồn	Xóa thẻ <meta name="robots" content="noindex"> hoặc chỉnh thành index,follow
Bị chặn bởi robots.txt	GSC báo "Blocked by robots.txt" trong tab Coverage	Sửa file robots.txt để cho phép crawl URL đó (ví dụ: bỏ dòng Disallow: /blog/)
Nội dung mỏng hoặc trùng lặp	URL có ít hơn ~300 từ, không có tiêu đề H1, không có hình ảnh minh họa, hoặc trùng gần như toàn bộ với trang khác	Mở rộng nội dung, thêm góc nhìn riêng, bổ sung bằng chứng (số liệu, trích dẫn), liên kết nội bộ tới/bởi các trang mạnh
Thiếu liên kết nội bộ	URL không xuất hiện trong sơ đồ site, không được liên kết từ bất kỳ trang nào (kiểm tra bằng Screaming Frog hoặc Ahrefs)	Thêm liên kết từ trang chủ, trang danh mục hoặc bài viết liên quan. Đảm bảo đường dẫn rõ ràng, có anchor text mô tả

Ví dụ thực tế

Một website thương mại điện tử Việt Nam đăng 50 sản phẩm mới trong tuần. Sau 3 ngày, kiểm tra GSC thấy 22 URL ở trạng thái "Crawled – currently not indexed". Phân tích từng URL cho thấy:

• 17 trang thiếu tiêu đề H1 và mô tả ngắn — nội dung chỉ gồm tên sản phẩm + giá + nút "Mua ngay".
• 3 trang bị chặn bởi robots.txt do quy tắc Disallow: /*?* vô tình áp dụng cả với URL sản phẩm có tham số.
• 2 trang có thẻ noindex do plugin SEO đặt mặc định cho sản phẩm chưa xuất bản.

Sau khi cập nhật tiêu đề/mô tả (tối thiểu 250 từ), điều chỉnh robots.txt, và gỡ thẻ noindex, 19/22 trang được index trong vòng 48 giờ. 3 trang còn lại cần thêm liên kết nội bộ từ danh mục — sau khi bổ sung, tất cả đều xuất hiện trong kết quả tìm kiếm sau 5 ngày.

Câu hỏi thường gặp

"Crawled – currently not indexed" có phải là lỗi nghiêm trọng?

Không phải lỗi — đây là trạng thái tạm thời và bình thường với một số trang (ví dụ: trang xác nhận đơn hàng, trang lọc theo tham số). Tuy nhiên, nếu xảy ra với trang mục tiêu (bài viết, sản phẩm, dịch vụ), cần xử lý sớm vì ảnh hưởng trực tiếp đến lưu lượng tìm kiếm.

Mất bao lâu để Google index lại sau khi sửa?

Thời gian thay đổi tùy thuộc vào mức độ ưu tiên của trang và tần suất crawl. Với trang có authority cao và được yêu cầu indexing thủ công, thường từ vài giờ đến 3 ngày. Với trang mới hoặc ít liên kết, có thể mất 1–4 tuần. Không có thời gian cố định — Google không cam kết khung giờ cụ thể.

Có nên yêu cầu indexing cho tất cả URL bị trạng thái này không?

Không. Chỉ yêu cầu indexing khi bạn đã xác minh rằng trang đáp ứng đủ điều kiện: không bị chặn, có nội dung chất lượng, có liên kết nội bộ rõ ràng và phù hợp với mục đích tìm kiếm. Yêu cầu ồ ạt cho trang yếu có thể làm chậm tốc độ xử lý của Google đối với các trang quan trọng hơn.