Trong lĩnh vực SEO, Thẻ Meta Robots đóng một vai trò quan trọng trong việc kiểm soát cách công cụ tìm kiếm hiển thị nội dung của trang web. Thẻ này giúp bạn quyết định liệu các trang có nên được index hay không, hoặc có nên follow các liên kết trên trang hay không. Bài viết này sẽ cung cấp cho bạn cái nhìn sâu hơn về khái niệm Thẻ Meta Robots, cũng như hướng dẫn chi tiết về cách đặt Thẻ Meta Robots sao cho đúng chuẩn và hiệu quả, giúp tối ưu hóa chiến lược SEO của bạn. Cùng Game Bài Đổi Thưởng tìm hiểu ngay nhé!
TÓM TẮT
Thẻ Meta Robots là gì?
Thẻ Meta Robots là một phần quan trọng của mã HTML được sử dụng để định rõ các hướng dẫn cho các công cụ tìm kiếm khi truy cập và xử lý nội dung trên trang web. Thẻ này cho phép bạn kiểm soát cách mà các công cụ tìm kiếm index (lập chỉ mục) trang của bạn và theo dõi (follow) các liên kết trên trang. Bằng cách sử dụng Thẻ Meta Robots, bạn có thể quyết định xem một trang cụ thể có nên xuất hiện trong kết quả tìm kiếm hay không, hoặc liệu các liên kết trên trang đó có nên được theo dõi bởi các công cụ tìm kiếm hay không. Điều này giúp bạn kiểm soát và tối ưu hóa cách công cụ tìm kiếm hiển thị và xử lý nội dung của trang web của bạn.
<meta name=”robots” content=”noindex”/>
Thẻ Meta Robots trong SEO quan trọng như thế nào?
Thẻ Meta Robots đóng một vai trò quan trọng trong chiến lược SEO của một trang web. Bằng cách sử dụng thẻ này, bạn có khả năng kiểm soát cách mà các công cụ tìm kiếm xử lý nội dung trang web của bạn, từ đó ảnh hưởng đến việc xuất hiện của trang trong kết quả tìm kiếm.
Thẻ Meta Robots giúp bạn:
- Kiểm soát chỉ mục: Bạn có thể quyết định liệu trang nên được index (lập chỉ mục) bởi các công cụ tìm kiếm hay không. Điều này hữu ích khi bạn muốn ẩn những trang không cần thiết hoặc trang đang trong quá trình phát triển để tránh việc hiển thị trong kết quả tìm kiếm.
- Kiểm soát theo dõi liên kết: Bạn có khả năng quyết định xem các liên kết trên trang nên được các công cụ tìm kiếm theo dõi hay không. Điều này giúp bạn tập trung sức mạnh của các công cụ tìm kiếm vào những liên kết quan trọng và chất lượng.
- Tránh Duplicate Content: Thẻ Meta Robots cũng có thể được sử dụng để ngăn chặn các trang trùng lặp hoặc nội dung trùng lặp trên website của bạn khỏi việc index, giúp tránh vấn đề về duplicate content.
Tóm lại, Thẻ Meta Robots giúp bạn có sự kiểm soát toàn diện hơn về cách các công cụ tìm kiếm hiển thị và xử lý nội dung trang web của bạn, đồng thời cải thiện khả năng tối ưu hóa SEO và trải nghiệm người dùng của trang web.
Một số thuộc tính của thẻ Meta Robots
Thẻ Meta Robots có 2 thuộc tính là “name” và “content”, cách mà bạn dùng để gán giá trị cho 2 thuộc tính này sẽ quyết định cách để những crawler làm theo.
| Tên thẻ | Cấu trúc thẻ | Tác dụng | Ứng dụng |
|---|---|---|---|
| All | <meta name=”robots” content=”all” /> | ||
| Noindex | <meta name=”robots” content=”noindex” /> | Ngăn không cho các công cụ tìm kiếm lập chỉ mục trang. | Khi bạn không muốn trang nào đó hiển thị trên kết quả tìm kiếm. |
| Nofollow | <meta name=”robots” content=”nofollow” /> | Ngăn robots không thu thập liên kết trên trang. Nhưng vẫn được phép lập chỉ mục chúng | |
| None | <meta name=”robots” content=”none” /> | Sự kết hợp giữa 2 thẻ Noindex và Nofollow với nhau. | Khi không muốn công cụ tìm kiếm lập chỉ mục và các Robots không thu thập liên kết trang, bạn có thể sử dụng thẻ này. |
| Noarchive | <meta name=”robots” content=”noarchive” /> | Không cho Google hiển thị bản sao đã lưu trong bộ nhớ cache của trang tại SERP. | |
| Notraslate | <meta name=”robots” content=”notranslate” /> | Không cho Google cung cấp bản dịch của trang tại SERP. | |
| Noimageindex | <meta name=”robots” content=”noimageindex” /> | Không cho Google lập chỉ mục những hình ảnh đã được nhúng trên trang. | |
| Unavailable_after | <meta name=”robots” content=”unavailable_after: Tuesday, 03-Sep-20 12:21:22 GMT” /> | Không cho Google hiển thị một trang trên kết quả tìm kiếm sau một ngày hoặc thời điểm xác định. | Khi bạn không muốn một trang xuất hiện trong kết quả tìm kiếm sau một thời điểm xác định. Lưu ý thời gian phải chính xác theo đúng định dạng. Ví dụ: Tuesday, 03 -Sep-20 12:21:22 |
| Nosnippet | <meta name=”robots” content=”nosnippet” /> | Không cho các đoạn trích như hình ảnh, văn bản, video,… hiển thị trên kết quả tìm kiếm. | Trường hợp bạn cần hiển thị chúng hãy chèn đoạn mã HTML sau<meta name=”robots” content=”max-snippet:-1, max-image-preview:large, max-video-preview:-1″ />vào trang web của mình. |
| Max-snippet | <meta name=”robots” content=”max-snippet:X” /> | Chỉ định tối đa số lượng ký tự mà Google có thể hiển thị trong những đoạn văn bản của họ. Nếu bạn thay X bằng 0, tức là không tham gia các đoạn văn bản. x = -1 tức là không có giới hạn về bản xem trước của văn bản. | Thay X bằng số lượng ký tự lớn nhất mà Google có thể hiển thị. |
| Max-image-preview | <meta name=”robots” content=”max-image-preview:X” /> | Cho Google biết kích thước hình ảnh sẽ được sử dụng cho đoạn mã hình ảnh. | Thay X bằng giá trị muốn hiển thị trên Google: – none: Không hiển thị đoạn mã hình ảnh nào. – standard: Hiển thị bản xem trước hình ảnh kích thước mặc định. – large: Bản xem trước hình ảnh lớn nhất có thể được hiển thị. |
| Max-video-preview | <meta name=”robots” content=”max-video-preview:X” /> | Tùy chỉnh số giây tối đa cho một đoạn video. | Thay X bằng số giây tương ứng: 0: Không hiển thị video xem trước. -1: Không giới hạn số giây hiển thị. |
Ngoài ra, bạn được phép tạo nhiều lệnh với cách dùng dấu phẩy vào câu lệnh.
Chẳng hạn: <meta name=”robots” content=”max-snippet:15,max-image-preview:standard”>
Thẻ này đã chỉ định giới hạn 15 ký tự cho đoạn trích của văn bản và cho phép hiển thị hình ảnh xem trước với kích thước standard (mặc định).
Ví dụ: <meta name=”robots” content=nofollow,nosnippet”>
Thẻ này yêu cầu Google không thu thập toàn bộ các liên kết có trên trang cũng như không hiển thị các đoạn trích hình ảnh, văn bản, video,… trên kết quả tìm kiếm.
Kiểm tra và thay đổi thuộc tính của thẻ Meta Robots
Dưới đây là một số cách kiểm tra và thay đổi thuộc tính của thẻ Meta Robots bạn có thể tham khảo:
Cách kiểm tra trang có thuộc tính Meta Robots không?
Để kiểm tra xem một trang web cụ thể có sử dụng các thuộc tính thẻ Meta Robots hay không và thay đổi chúng, bạn có thể tuân theo các bước sau:
Bước 1: Mở trang web bạn muốn kiểm tra và bấm vào nút “Xem mã nguồn trang” hoặc sử dụng phím tắt Ctrl + U (Windows) hoặc Option + Command + U (Mac).
Bước 2: Sử dụng tổ hợp phím tắt Ctrl + F (Windows) hoặc Command + F (Mac) để mở công cụ tìm kiếm trên trình duyệt.
Bước 3: Nhập từ khóa meta name=”robots” hoặc meta content vào ô tìm kiếm để tiến hành kiểm tra.
Khi làm theo các bước trên, bạn sẽ có thể xem các thuộc tính thẻ Meta Robots mà trang web đang sử dụng.
Thay đổi thuộc tính Meta Robots trong HTML/CSS
Để thay đổi thuộc tính cho Meta Robots, bạn có thể thực hiện các cách sau:
Cách 1: Chỉnh sửa file robots.txt.
Cách 2: Chỉnh sửa trong thẻ Meta Robots.
Sử dụng plugin Yoast SEO đối với website sử dụng WordPress
Trong trường hợp website của bạn sử dụng nền tảng WordPress, bạn có thể tham khảo cách điều chỉnh thuộc tính của thẻ Meta Robots thông qua plugin Yoast SEO bằng cách tuân theo các bước sau:
Bước 1: Đăng nhập vào trang web với quyền quản trị viên (Admin).
Bước 2: Chuyển đến phần “Thiết lập nâng cao” trong giao diện của Yoast SEO. Tại đây, bạn có thể tùy chỉnh thuộc tính của thẻ Meta Robots bằng cách chọn giá trị “noindex” và “nofollow”. Ngoài ra, trong tab “robots meta nâng cao,” bạn cũng có thể thực hiện cấu hình cho các thẻ meta khác.
Như vậy, với plugin Yoast SEO, bạn có thể dễ dàng điều chỉnh các thuộc tính thẻ Meta Robots cho website WordPress của mình.
Sử dụng plugin Rank Math
Bạn có thể thực hiện các thao tác sau nếu đang sử dụng plugin Rank Math:
Bước 1: Đến phần chỉnh sửa của bài viết.
Bước 2: Chọn mục “Advanced”.
Bước 3: Chọn thẻ mà bạn cần đặt.
Điểm khác biệt giữa thẻ Meta Robots và thẻ X‑Robots-Tag
Sự khác biệt giữa thẻ Meta Robots và thẻ X-Robots-Tag là cách chúng được sử dụng để kiểm soát chỉ thị cho các trang web trước công cụ tìm kiếm.
Thẻ Meta Robots: Đây là một thẻ được thêm vào trong phần tiêu đề (head) của trang HTML. Nó thường được sử dụng để chỉ định các chỉ thị cho toàn bộ trang hoặc cả website. Các chỉ thị phổ biến bao gồm “index” (cho phép trang được index), “noindex” (không cho phép index), “follow” (cho phép theo dõi liên kết từ trang), và “nofollow” (không cho phép theo dõi liên kết từ trang).
Thẻ X-Robots-Tag: Đây là một thẻ HTTP header được thêm vào trong phần đáp ứng của máy chủ web khi trang web được yêu cầu bởi trình duyệt hoặc công cụ tìm kiếm. Nó cũng được sử dụng để chỉ định các chỉ thị như “noindex” và “nofollow,” nhưng thẻ X-Robots-Tag cho phép bạn áp dụng các chỉ thị cụ thể cho từng trang, thay vì toàn bộ trang hoặc website.
Tóm lại, sự khác biệt quan trọng giữa thẻ Meta Robots và thẻ X-Robots-Tag nằm ở cách chúng được áp dụng và phạm vi tác động của các chỉ thị cho các trang web và trang cụ thể.
Cách sử dụng X-Robots-Tag
Bạn tiến hành chèn đoạn mã sau vào đầu tệp header.php khi muốn ngăn công cụ tìm kiếm hiển thị những tệp đã tạo bằng PHP:
header(“X-robots-Tag: noindex”, true);
Tuy nhiên, nó không ngăn các công cụ tìm kiếm thu thập dữ liệu theo những liên kết trên các trang đó. Nếu muốn ngăn chặn việc thu thập dữ liệu qua liên kết, bạn chèn sửa lại đoạn mã giống như sau:
header(“X-robots-Tag: noindex, nofollow”, true)
Mặc dù việc sử dụng phương pháp này với PHP có thể mang lại những ưu điểm độc đáo, tuy nhiên đôi khi bạn có thể muốn hoàn toàn ngăn chặn một số tệp cụ thể. Một cách đơn giản hơn để thực hiện điều này là thêm thẻ X-Robots-Tag vào cấu hình máy chủ hoặc tệp .htaccess của bạn.
Ví dụ, giả sử bạn đang quản lý một trang web chứa các tệp .doc và bạn muốn đảm bảo rằng các công cụ tìm kiếm không lập chỉ mục những tệp loại này. Bạn có thể thêm dòng sau vào tệp cấu hình .htaccess trên máy chủ Apache để thực hiện điều này:
<FilesMatch”.doc$”>Header set X-robots-Tag “noindex, noarchive, nosnippet”</FilesMatch>
Trường hợp muốn chặn lập chỉ mục cả tệp .doc và .pdf:
<FilesMatch”.(doc|pdf)$”>Header set X-robots-Tag “noindex, noarchive, nosnippet”</FilesMatch>
Hoặc, nếu đang chạy Nginx thay vì Apache, bạn có thể thêm những dòng sau:
location ~*(doc|pdf)${add_header X-robots-Tag “noindex, noarchive, nosnippet”;]
Một số trường hợp, chính tệp robots.txt có thể hiển thị tại kết quả tìm kiếm. Lúc này, bạn thêm lệnh sau để ngăn công cụ tìm kiếm lập chỉ mục tệp này:
<FilesMatch “ robots.txt”>Header set X-robots-Tag “noindex”</FilesMatch>
Với Nginx:
location = robots.txt{add_header X-robots-Tag “noindex”;}
Cân nhắc sử dụng thẻ X Robots thay thế cho Meta Robots khi nào?
Cân nhắc sử dụng thẻ X-Robots-Tag thay thế cho thẻ Meta Robots khi bạn muốn có sự linh hoạt và kiểm soát cao hơn trong việc quản lý các chỉ thị cho các trang và tệp cụ thể trên website của bạn. Thẻ X-Robots-Tag cung cấp các tùy chọn mở rộng hơn cho việc điều chỉnh hành vi của các công cụ tìm kiếm đối với các phần tử cụ thể trên trang web.
Bạn nên cân nhắc sử dụng thẻ X-Robots-Tag khi:
- Cần kiểm soát cụ thể hơn: Thẻ X-Robots-Tag cho phép bạn áp dụng các chỉ thị riêng biệt cho từng phần của trang, như thẻ meta, hình ảnh, tệp hoặc thậm chí các phần tử HTML khác.
- Không muốn thay đổi mã nguồn: Sử dụng thẻ X-Robots-Tag không yêu cầu bạn thêm mã HTML vào trang, như việc sử dụng thẻ meta trong phần head của trang.
- Cần quản lý nhiều chỉ thị: Khi bạn có nhiều chỉ thị cho cùng một phần tử hoặc trang, thẻ X-Robots-Tag giúp bạn duy trì quản lý dễ dàng hơn.
- Muốn thực hiện cấu hình tại cấu hình máy chủ: Bạn có thể thêm chỉ thị X-Robots-Tag trực tiếp vào cấu hình máy chủ (như tệp .htaccess) thay vì phải thay đổi mã nguồn HTML.
Tuy nhiên, nếu bạn đang quản lý một trang web đơn giản hoặc chỉ cần các chỉ thị cơ bản như “noindex” hay “nofollow”, thì sử dụng thẻ Meta Robots vẫn là một phương pháp hiệu quả và đơn giản.
Kết luận
Tóm lại, thẻ Meta Robots là một phần quan trọng trong chiến lược SEO để kiểm soát cách công cụ tìm kiếm đánh giá và xếp hạng trang web của bạn. Bằng cách sử dụng thẻ này một cách thông minh, bạn có thể quản lý việc chỉ thị cho các phần tử trên trang và tối ưu hóa hiển thị kết quả tìm kiếm. Điều quan trọng là hiểu rõ cách sử dụng và đặt thẻ Meta Robots sao cho phù hợp với mục tiêu SEO của bạn. Việc thực hiện đúng và chuẩn xác các chỉ thị này sẽ giúp tối ưu hóa hiệu suất SEO của trang web và đảm bảo rằng nội dung của bạn được hiển thị đúng cách trên các công cụ tìm kiếm.
