robots.txt 파일은 사이트를 방문하는 검색엔진의 로봇들에게 해당 사이트의 내용공개에 대한 정책을 담고 있는 파일입니다.
사이트에 검색엔진의 로봇이 방문을 하게되면, 로봇이 하는 첫번째 행동이 바로 최상위 디렉토리에 robots.txt 파일이 있는지 확인을 합니다.
robots.txt 파일이 있다면 파일에 명시되어 있는 로봇의 허용범위 안에서만 활동을 하고,
robots.txt 파일이 없다면 말 그대로 지맘대로 활동을 하는 거죠.
예를 들어
개인으로 보자면 일기장이라든지, 개인적인 사진들 같은
업체로 보자면 내부문서라든지, 거래처정보 같은
공개하고 싶지 않은 것들이 혹시라도 검색엔진에 노출되지 않도록 미리 막는 거죠.
▶ robots.txt 작성법
- 위치
계정의 최상위 디렉토리 예) http://www.aaa.com/robots.txt
- 내용
User-agent: 로봇의 이름
Disallow: 제한할 디렉토리
Crawl-delay: 다음 방문까지의 딜레이(초)
사용예)
모든 로봇에게 모든 디렉토리를 제한할 경우
User-agent: *
Disallow: /
모든 로봇에게 aaa라는 디렉토리를 제한할 경우
User-agent: *
Disallow:/aaa
구글의 로봇에게만 허용하고 다른 로봇들에게는 모든 디렉토리를 제한할 경우
User-agent: Googlebot
Disallow:
User-agent: *
Disallow: /
구글 이미지의 로봇에게 JPG 파일을 제한할 경우
User-agent: Googlebot-Image
Disallow: /*.jpg$
모든 로봇에게 모든 디렉토리를 허용하지만 1분에 한번만 방문허용
User-agent: *
Disallow:
Crawl-delay: 60
자신을 사랑하기 위해서는
아이의 웃음이 필요합니다.
아이의 웃음은 세련된 사람의 유머입니다.
결코, 자신이 중요한 인물인 것처럼 행동하지 마십시오.
그리고 자기 자신을 경멸하지도 마십시오.
자신을 사랑한다는 것은
자신이 이룬 모습 그대로
자신을 사랑하는 것을 의미합니다.
- 안젤름 그륀의《머물지 말고 흘러라》중에서 -
* 아이의 웃음은 순수합니다.
맑고 때묻지 않고 꾸밈이 없습니다.
순수함, 맑음, 꾸밈없음, 이 모두 나이들어 가면서
잃기 쉬운 요소들입니다. 마음의 물결은 얼굴에도,
웃음에도 나타납니다. 아이의 웃음을 짓는 것은
잃었던 아이의 마음을 회복하는 것이고
자신을 사랑하는 표시이기도 합니다.