두 Firefox 확장은 모두 쉽게 설치할 수 있다. Firebug를 설치하려면 다음 단계를 수행한다.
1. Firefox를 열고 Firebug 홈 페이지로 이동한다.
2. 최신 버전의 Firebug를 설치한다.
3. Firefox가 팝업을 차단하도록 구성되어 있는 경우에는 Allow를 클릭하여 설치 창을 연다. 그렇지 않은 경우에는 Install Now를 클릭한다.
4. Firefox를 다시 시작한다.
이제 Tools 메뉴에서 Firebug에 액세스할 수 있다. 새 창 또는 기존 창에서 Firebug를 열 수 있다
Firebug를 설치한 후에는 YSlow를 설치해야 한다. 그렇게 하려면 다음을 수행한다.
1. Firefox를 열고 YSlow 홈 페이지로 이동한다.
2. 애드온을 설치하고 Firefox를 다시 시작한다.
참고: 다른 많은 Firefox 확장과는 달리 YSlow는 자동으로 시작되지 않으므로 먼저 활성화해야 한다.
3. YSlow를 활성화하려면 상태 표시줄에서 해당 아이콘을 마우스 오른쪽 단추로 클릭한 다음 Autorun을 클릭한다.
robots.txt 파일은 사이트를 방문하는 검색엔진의 로봇들에게 해당 사이트의 내용공개에 대한 정책을 담고 있는 파일입니다.
사이트에 검색엔진의 로봇이 방문을 하게되면, 로봇이 하는 첫번째 행동이 바로 최상위 디렉토리에 robots.txt 파일이 있는지 확인을 합니다.
robots.txt 파일이 있다면 파일에 명시되어 있는 로봇의 허용범위 안에서만 활동을 하고,
robots.txt 파일이 없다면 말 그대로 지맘대로 활동을 하는 거죠.
예를 들어
개인으로 보자면 일기장이라든지, 개인적인 사진들 같은
업체로 보자면 내부문서라든지, 거래처정보 같은
공개하고 싶지 않은 것들이 혹시라도 검색엔진에 노출되지 않도록 미리 막는 거죠.
▶ robots.txt 작성법
- 위치
계정의 최상위 디렉토리 예) http://www.aaa.com/robots.txt
- 내용
User-agent: 로봇의 이름
Disallow: 제한할 디렉토리
Crawl-delay: 다음 방문까지의 딜레이(초)
사용예)
모든 로봇에게 모든 디렉토리를 제한할 경우
User-agent: *
Disallow: /
모든 로봇에게 aaa라는 디렉토리를 제한할 경우
User-agent: *
Disallow:/aaa
구글의 로봇에게만 허용하고 다른 로봇들에게는 모든 디렉토리를 제한할 경우
User-agent: Googlebot
Disallow:
User-agent: *
Disallow: /
구글 이미지의 로봇에게 JPG 파일을 제한할 경우
User-agent: Googlebot-Image
Disallow: /*.jpg$
모든 로봇에게 모든 디렉토리를 허용하지만 1분에 한번만 방문허용
User-agent: *
Disallow:
Crawl-delay: 60
