<meta name=“robots“ content=““>介绍
是一个 HTML 元素,用于指示搜索引擎爬虫(如 Googlebot)如何处理网页的索引和抓取。它可以控制搜索引擎对页面的访问和索引行为。
content
属性可以包含以下指令:
- index:允许搜索引擎索引该页面(默认行为)。
- noindex:不允许搜索引擎索引该页面。
- follow:允许搜索引擎跟踪页面上的链接(默认行为)。
- nofollow:不允许搜索引擎跟踪页面上的链接。
例如:
<meta name="robots" content="noindex, nofollow">
表示搜索引擎不应索引该页面,也不应跟踪该页面上的链接。
<meta name="robots" content="index, follow">
表示搜索引擎可以索引该页面,并跟踪链接。
如果 content 属性为空(如 <meta name="robots" content="">
),则通常表示没有特别的指示,搜索引擎将使用默认行为(通常是 index, follow)。