웹 프론트엔드 HTML 튜토리얼 robots.txt详细介绍_HTML/Xhtml_网页制作

robots.txt详细介绍_HTML/Xhtml_网页制作

May 16, 2016 pm 04:45 PM
meta 소개하다 검색 엔진 기계 인간 입장 상세한

robots.txt基本介绍
robots.txt是一个纯文本文件,在这个文件中网站管理者可以声明该网站中不想被robots访问的部分,或者指定搜索引擎只收录指定的内容。
当一个搜索机器人(有的叫搜索蜘蛛)访问一个站点时,它会首先检查该站点根目录下是否存在robots.txt,如果存在,搜索机器人就会按照该文件中的内容来确定访问的范围;如果该文件不存在,那么搜索机器人就沿着链接抓取。
另外,robots.txt必须放置在一个站点的根目录下,而且文件名必须全部小写。
robots.txt写作语法
首先,我们来看一个robots.txt范例:http://www.csswebs.org/robots.txt
访问以上具体地址,我们可以看到robots.txt的具体内容如下:
# Robots.txt file from http://www.csswebs.org
# All robots will spider the domain
User-agent: *
Disallow:
以上文本表达的意思是允许所有的搜索机器人访问www.csswebs.org站点下的所有文件。
具体语法分析:其中#后面文字为说明信息;User-agent:后面为搜索机器人的名称,后面如果是*,则泛指所有的搜索机器人;Disallow:后面为不允许访问的文件目录。
下面,我将列举一些robots.txt的具体用法:
允许所有的robot访问
User-agent: *
Disallow:
或者也可以建一个空文件 “/robots.txt” file
禁止所有搜索引擎访问网站的任何部分
User-agent: *
Disallow: /
禁止所有搜索引擎访问网站的几个部分(下例中的01、02、03目录)

User-agent: *
Disallow: /01/
Disallow: /02/
Disallow: /03/
禁止某个搜索引擎的访问(下例中的BadBot)
User-agent: BadBot
Disallow: /
只允许某个搜索引擎的访问(下例中的Crawler)
User-agent: Crawler
Disallow:
User-agent: *
Disallow: /
另外,我觉得有必要进行拓展说明,对robots meta进行一些介绍:
Robots META标签则主要是针对一个个具体的页面。和其他的META标签(如使用的语言、页面的描述、关键词等)一样,Robots META标签也是放在页面的<head></head>中,专门用来告诉搜索引擎ROBOTS如何抓取该页的内容。
Robots META标签的写法:
Robots META标签中没有大小写之分,name=”Robots”表示所有的搜索引擎,可以针对某个具体搜索引擎写为name=”BaiduSpider”。 content部分有四个指令选项:index、noindex、follow、nofollow,指令间以“,”分隔。
INDEX 指令告诉搜索机器人抓取该页面;
FOLLOW 指令表示搜索机器人可以沿着该页面上的链接继续抓取下去;
Robots Meta标签的缺省值是INDEX和FOLLOW,只有inktomi除外,对于它,缺省值是INDEX,NOFOLLOW。
这样,一共有四种组合:
<META NAME=”ROBOTS” CONTENT=”INDEX,FOLLOW”>
<META NAME=”ROBOTS” CONTENT=”NOINDEX,FOLLOW”>
<META NAME=”ROBOTS” CONTENT=”INDEX,NOFOLLOW”>
<META NAME=”ROBOTS” CONTENT=”NOINDEX,NOFOLLOW”>
其中
<META NAME=”ROBOTS” CONTENT=”INDEX,FOLLOW”>可以写成<META NAME=”ROBOTS” CONTENT=”ALL”>;
<META NAME=”ROBOTS” CONTENT=”NOINDEX,NOFOLLOW”>可以写成<META NAME=”ROBOTS” CONTENT=”NONE”>
目前看来,绝大多数的搜索引擎机器人都遵守robots.txt的规则,而对于Robots META标签,目前支持的并不多,但是正在逐渐增加,如著名搜索引擎GOOGLE就完全支持,而且GOOGLE还增加了一个指令“archive”,可以限制GOOGLE是否保留网页快照。例如:
<META NAME=”googlebot” CONTENT=”index,follow,noarchive”>
본 웹사이트의 성명
본 글의 내용은 네티즌들의 자발적인 기여로 작성되었으며, 저작권은 원저작자에게 있습니다. 본 사이트는 이에 상응하는 법적 책임을 지지 않습니다. 표절이나 침해가 의심되는 콘텐츠를 발견한 경우 admin@php.cn으로 문의하세요.

핫 AI 도구

Undresser.AI Undress

Undresser.AI Undress

사실적인 누드 사진을 만들기 위한 AI 기반 앱

AI Clothes Remover

AI Clothes Remover

사진에서 옷을 제거하는 온라인 AI 도구입니다.

Undress AI Tool

Undress AI Tool

무료로 이미지를 벗다

Clothoff.io

Clothoff.io

AI 옷 제거제

AI Hentai Generator

AI Hentai Generator

AI Hentai를 무료로 생성하십시오.

뜨거운 도구

메모장++7.3.1

메모장++7.3.1

사용하기 쉬운 무료 코드 편집기

SublimeText3 중국어 버전

SublimeText3 중국어 버전

중국어 버전, 사용하기 매우 쉽습니다.

스튜디오 13.0.1 보내기

스튜디오 13.0.1 보내기

강력한 PHP 통합 개발 환경

드림위버 CS6

드림위버 CS6

시각적 웹 개발 도구

SublimeText3 Mac 버전

SublimeText3 Mac 버전

신 수준의 코드 편집 소프트웨어(SublimeText3)

AI는 어떻게 로봇을 보다 자율적이고 적응력 있게 만들 수 있습니까? AI는 어떻게 로봇을 보다 자율적이고 적응력 있게 만들 수 있습니까? Jun 03, 2024 pm 07:18 PM

AI는 어떻게 로봇을 보다 자율적이고 적응력 있게 만들 수 있습니까?

다섯 개의 유연한 손가락과 초인적인 속도를 갖춘 인간 작업을 자율적으로 완료하는 최초의 로봇 등장, 가상 공간 훈련을 지원하는 대형 모델 다섯 개의 유연한 손가락과 초인적인 속도를 갖춘 인간 작업을 자율적으로 완료하는 최초의 로봇 등장, 가상 공간 훈련을 지원하는 대형 모델 Mar 11, 2024 pm 12:10 PM

다섯 개의 유연한 손가락과 초인적인 속도를 갖춘 인간 작업을 자율적으로 완료하는 최초의 로봇 등장, 가상 공간 훈련을 지원하는 대형 모델

저렴한 가격의 새로운 Meta Quest 3S VR 헤드셋이 FCC에 등장하여 출시 임박을 시사 저렴한 가격의 새로운 Meta Quest 3S VR 헤드셋이 FCC에 등장하여 출시 임박을 시사 Sep 04, 2024 am 06:51 AM

저렴한 가격의 새로운 Meta Quest 3S VR 헤드셋이 FCC에 등장하여 출시 임박을 시사

2개월 만에 휴머노이드 로봇 '워커S' 옷 개기 가능 2개월 만에 휴머노이드 로봇 '워커S' 옷 개기 가능 Apr 03, 2024 am 08:01 AM

2개월 만에 휴머노이드 로봇 '워커S' 옷 개기 가능

GPT4o 수준을 능가하는 최초의 오픈 소스 모델! Llama 3.1 유출: 4,050억 개의 매개변수, 다운로드 링크 및 모델 카드 사용 가능 GPT4o 수준을 능가하는 최초의 오픈 소스 모델! Llama 3.1 유출: 4,050억 개의 매개변수, 다운로드 링크 및 모델 카드 사용 가능 Jul 23, 2024 pm 08:51 PM

GPT4o 수준을 능가하는 최초의 오픈 소스 모델! Llama 3.1 유출: 4,050억 개의 매개변수, 다운로드 링크 및 모델 카드 사용 가능

미래를 만들어가는 10대의 휴머노이드 로봇 미래를 만들어가는 10대의 휴머노이드 로봇 Mar 22, 2024 pm 08:51 PM

미래를 만들어가는 10대의 휴머노이드 로봇

구름고래 Xiaoyao 001 청소 및 걸레질 로봇에는 '뇌'가 있습니다! 경험 | 구름고래 Xiaoyao 001 청소 및 걸레질 로봇에는 '뇌'가 있습니다! 경험 | Apr 26, 2024 pm 04:22 PM

구름고래 Xiaoyao 001 청소 및 걸레질 로봇에는 '뇌'가 있습니다! 경험 |

새로 출시된 Llama 3를 빠르게 체험할 수 있는 6가지 방법! 새로 출시된 Llama 3를 빠르게 체험할 수 있는 6가지 방법! Apr 19, 2024 pm 12:16 PM

새로 출시된 Llama 3를 빠르게 체험할 수 있는 6가지 방법!

See all articles