On-Page SEO

Meta Robots Content Attribute

Giá trị cụ thể trong thẻ meta robots (ví dụ: 'noindex, follow') điều khiển cách công cụ tìm kiếm lập chỉ mục và theo dõi liên kết.

4 lượt xem Cập nhật: 27/05/2026

Meta Robots Content Attribute là gì?

Meta Robots Content Attribute là giá trị nằm trong thẻ <meta name="robots" content="..."> ở phần <head> của trang web. Nó gửi hướng dẫn trực tiếp đến công cụ tìm kiếm (như Google, Bing) về việc lập chỉ mục (index) và theo dõi liên kết (follow) trên trang đó. Đây là một phần quan trọng của kiểm soát lập chỉ mục ở cấp độ trang — khác với file robots.txt (kiểm soát ở cấp thư mục/tệp) hay các header HTTP như X-Robots-Tag.

Tại sao quan trọng trong SEO?

Khi không kiểm soát đúng cách, công cụ tìm kiếm có thể lập chỉ mục những trang không cần thiết: trang đăng nhập, trang thanh toán, bản sao nội dung (duplicate), trang thử nghiệm hoặc trang lỗi. Điều này gây loãng chỉ mục, phân tán quyền lực liên kết (link equity), làm giảm hiệu quả xếp hạng chung của website. Ngược lại, dùng meta robots chính xác giúp:

  • Bảo vệ tài nguyên thu thập (crawl budget) cho các trang quan trọng,
  • Ngăn trang nhạy cảm hoặc không có giá trị xuất hiện trong kết quả tìm kiếm,
  • Hỗ trợ chiến lược nội dung và cấu trúc website rõ ràng hơn,
  • Tránh rủi ro trùng lặp nội dung (duplicate content) khi có nhiều phiên bản URL.

Cách hoạt động

Thẻ <meta name="robots" content="..."> chỉ có hiệu lực nếu được đặt đúng vị trí: bên trong thẻ <head>, trước thẻ </head>. Công cụ tìm kiếm đọc thẻ này khi thu thập (crawl) trang. Nếu giá trị hợp lệ, chúng tuân thủ hướng dẫn — nhưng không bắt buộc: đây là tín hiệu gợi ý (hint), không phải lệnh bắt buộc. Tuy nhiên, Google và các công cụ lớn đều tuân thủ nghiêm ngặt các giá trị chuẩn.

Lưu ý: Giá trị content là chuỗi văn bản gồm một hoặc nhiều chỉ thị (directive), phân tách bằng dấu phẩy và khoảng trắng. Thứ tự không ảnh hưởng đến chức năng.

Hướng dẫn thực hiện

  1. Xác định mục tiêu trang: Liệt kê các trang cần kiểm soát (ví dụ: /thank-you/, /search/, /admin/).
  2. Chọn chỉ thị phù hợp: Dựa vào mục đích (xem bảng dưới).
  3. Thêm thẻ vào <head>: Đảm bảo không có lỗi cú pháp, không đặt trùng lặp, không đặt trong <body>.
  4. Kiểm tra thực tế: Dùng Google Search Console → Công cụ kiểm tra URL để xác minh trạng thái lập chỉ mục và xem thẻ meta được nhận diện đúng chưa.
  5. Theo dõi định kỳ: Kiểm tra sau mỗi lần cập nhật theme hoặc CMS — vì một số plugin/theme có thể ghi đè thẻ meta.

Lỗi thường gặp

  • Đặt thẻ trong <body>: Công cụ tìm kiếm bỏ qua hoàn toàn. → Khắc phục: Di chuyển vào <head>.
  • Dùng giá trị không tồn tại: Ví dụ content="noindex, noarchive, noimageindex" — noimageindex không hỗ trợ trên thẻ meta (chỉ dùng được qua X-Robots-Tag). → Khắc phục: Chỉ dùng các chỉ thị được công nhận.
  • Mâu thuẫn giữa nhiều tín hiệu: Ví dụ vừa đặt noindex trong thẻ meta, vừa cho phép lập chỉ mục qua sitemap.xml và không chặn trong robots.txt. Google ưu tiên noindex nhưng có thể gây chậm trễ xử lý. → Khắc phục: Đồng bộ hóa tất cả tín hiệu (meta, robots.txt, header, sitemap).
  • Quên cập nhật khi thay đổi mục đích trang: Trang thử nghiệm ban đầu dùng noindex, sau khi ra mắt lại quên bỏ. → Khắc phục: Thiết lập quy trình kiểm tra trước khi đưa trang live.

Ví dụ thực tế

Trang Mục đích Thẻ meta robots Ghi chú
/checkout/ Ngăn hiển thị trong tìm kiếm, nhưng vẫn theo dõi liên kết để truyền quyền lực <meta name="robots" content="noindex, follow"> Phổ biến nhất cho trang hành động không cần lập chỉ mục
/author/john/ Ngăn lập chỉ mục tất cả trang tác giả (tránh duplicate) <meta name="robots" content="noindex, nofollow"> Không truyền link equity, phù hợp nếu trang không có nội dung độc lập
/blog/2023/seo-guide/ Cho phép lập chỉ mục và theo dõi liên kết bình thường Không cần thẻ hoặc <meta name="robots" content="index, follow"> index, follow là giá trị mặc định — không bắt buộc thêm
/old-product-page/ Loại khỏi chỉ mục vĩnh viễn, không theo dõi liên kết <meta name="robots" content="noindex, nofollow"> Kết hợp với 301 redirect nếu có trang thay thế

Câu hỏi thường gặp

Meta robots có áp dụng cho tất cả công cụ tìm kiếm?

Có, nhưng mức độ hỗ trợ phụ thuộc vào từng công cụ. Google, Bing, Yandex và DuckDuckGo đều hiểu các chỉ thị chuẩn như noindex, nofollow, noarchive. Một số chỉ thị ít phổ biến (ví dụ max-snippet) chỉ Google hỗ trợ. Các chỉ thị tùy chỉnh không được công nhận sẽ bị bỏ qua.

Nếu dùng cả meta robots và X-Robots-Tag thì cái nào mạnh hơn?

X-Robots-Tag trong header HTTP mạnh hơn và linh hoạt hơn: áp dụng được cho mọi loại tệp (PDF, hình ảnh, XML), hỗ trợ chỉ thị theo mẫu (pattern), và không bị ảnh hưởng bởi HTML bị cắt ngắn. Khi cả hai cùng tồn tại, Google ưu tiên X-Robots-Tag. Tuy nhiên, với trang HTML thông thường, meta robots vẫn là lựa chọn đơn giản và đủ dùng.

Có thể dùng meta robots để chặn AI crawler không?

Không. Các chỉ thị meta robots chỉ dành riêng cho công cụ tìm kiếm truyền thống. Các crawler AI (như của OpenAI, Perplexity, Anthropic) không tuân thủ tiêu chuẩn này trừ khi nhà phát triển chủ động tích hợp hỗ trợ. Để chặn AI crawler, cần dùng robots.txt với user-agent cụ thể hoặc header X-Robots-Tag kèm điều kiện tùy chỉnh — nhưng hiệu lực tùy trường hợp và không đảm bảo.