회원 로그인
|
로봇 배제 표준 robots.txt
닥치는데로 웹 문서를 수집하는 검색로봇을 예외 처리를 할 수 있는 robots.txt(로봇 배제 표준 )이라는 것이 있다.
이 홈페이지에서도 순식간에 카운터가 올라가는 kimsq 및 카운터 위젯의 오류이긴 하지만 무엇보다도 많은 검색로봇으로 인한 막대한 트레픽 문제!
우선 차단해 보았다.
이 홈페이지에서도 순식간에 카운터가 올라가는 kimsq 및 카운터 위젯의 오류이긴 하지만 무엇보다도 많은 검색로봇으로 인한 막대한 트레픽 문제!
우선 차단해 보았다.
root 디렉토리에 robots.txt를 생성해주고 아래 내용을 넣어준다.
User-agent: * Disallow: / |
모든(*) 검색로봇에서 사이트의 모든 폴더(/)를 배제하게 된다.
User-Agent: Googlebot Disallow: /folder1/ |
다른 예로 구글봇의 folder1만 차단한다.
검색로봇명
구글 : Googlebot
구글 이미지 : googlebot-image
네이버 : cowbot
다음 : DAUMOA
야후 : Slurp
야후 이미지 : Yahoo-MMCrawler
MSN : MSNBot
첫눈: 1Noonbot 1.0
Baidu : baiduspider
robots.txt 작성을 도와주는 사이트
참고 사이트
댓글 0개
| 엮인글 0개
71개(3/4페이지)
번호 | 제목 | 글쓴이 | 조회 | 날짜 |
---|---|---|---|---|
31 | [웹] Chrome에서 Youtube 다운로드 | 푸딩뱃살 | 2089 | 2013.12.06 15:34 |
30 | [홈페이지] 킴스큐 디렉토리 소유자 구성 | 푸딩뱃살 | 1939 | 2013.11.17 02:15 |
29 | [웹] jQuery CDN 위젯 최신 버젼: 기존 내용 > 바뀐 내용 | 푸딩뱃살 | 1348 | 2013.11.17 00:07 |
>> | [웹] 로봇 배제 표준 robots.txt | 푸딩뱃살 | 2450 | 2013.11.16 23:55 |
27 | [홈페이지] 킴스큐 - Editor에서 아이콘셋 사용하기 | 푸딩뱃살 | 2131 | 2013.11.14 23:09 |
26 | [웹] Google 웹마스터 도구 | 푸딩뱃살 | 1782 | 2013.11.10 22:02 |
25 | [html] 접기 펴기 스크립트 - nextSibling.style.display | 푸딩뱃살 | 2564 | 2013.11.07 14:18 |
24 | [홈페이지] 킴스큐 adddata 입력/ 출력 | 푸딩뱃살 | 1644 | 2013.11.06 02:46 |
23 | [database] mySQL 치환 replace() | 푸딩뱃살 | 1622 | 2013.11.06 01:48 |
22 | [홈페이지] 상단 어드민바 색상 수정 | 푸딩뱃살 | 1938 | 2013.08.06 14:17 |
21 | [database] mySQL 백업/복구 | 푸딩뱃살 | 1819 | 2013.07.27 17:04 |
20 | [database] mySQL 에러 코드 | 푸딩뱃살 | 17004 | 2013.07.27 16:55 |
19 | [웹] dvframes.com 도메인 정보 | 푸딩뱃살 | 3 | 2013.04.12 01:19 |
18 | [서버] 홈페이지 SW(웹) 개발보안 가이드 (PDF) | 푸딩뱃살 | 1728 | 2013.04.12 01:16 |
17 | [웹] 웹표준 기반 홈페이지 구축 가이드 | 푸딩뱃살 | 1542 | 2013.04.12 01:09 |
16 | [기타] etrayz에 배추빌더 설치하기 | artsOne | 3584 | 2012.07.27 00:34 |
15 | [웹] 내부 도메인 설정 | artsOne | 1034 | 2011.04.27 14:21 |
14 | [웹] 모바일 웹페이지 참고 | artsOne | 1335 | 2010.03.05 14:08 |
13 | [웹] swf 파일 수정하기 - 2. 사용하기 | artsone | 2823 | 2008.06.06 20:29 |
12 | [웹] swf 파일 수정하기 - 1. 설치 | artsone | 1390 | 2008.06.06 20:21 |