위로

SOFTWARE TIP & TECH.

원본사이트를 보려면 본문하단에 <제목>이나<출처>를 클릭 하십시오.

70

네이버 구글 검색 로봇 허용 또는 차단하는 방법


구글 검색 차단 방법

1. robots.txt 파일은 도메인 루트에 설치하는 방법

   - 홈페이지 도메인이 http://www.ex.co.kr라고 가정할 경우,  http://www.ex.co.kr/robots.txt 위치에 robots.txt 파일을 설치
   - robots.txt 내용 구성
     User-Agent : 검색 허용 또는 차단 대상 로봇 명
     Disallow : 검색을 차단하는 페이지나 디렉토리
     Allow : 검색을 허용하는 페이지나 디렉토리

   - 모든 로봇에게 사이트 전체 검색을 허용하는 경우 robots.txt 내용
     User-Agent : *
     Disallow :

   - 모든 로봇이 사이트 전체의 검색을 차단시키는 경우
     User-Agent : *
     Disallow : /

   - 모든 로봇이 루트 abc 검색을 전체를 차단시키는 경우
     User-Agent : *
     Disallow : /abc/
 
   - 모든 로봇이 루트 abc 및 /abc.html 검색을 차단시키는 경우
     User-Agent : *
     Disallow : /abc

   - 모든 로봇이 루트 하위에 있는 xml 확장자를 가진 모든 파일의 색인을 거부하게 하는 경우
     User-Agent : *
     Disallow : /*.xml$

   - 구글 검색 로봇이 파일 index.html 검색을 전체를 차단시키는 경우
     User-Agent : Googlebot
     Disallow : /index.html

   - 구글 검색 로봇이 이미지 파일(gif, jpg) 검색을 차단시키는 경우
     User-Agent : Googlebot
     Disallow : /*.gif$
     Disallow : /*.jpg$

     [참고] Disallow에는 *표시를 넣을 수 없습니다. * 이 명령어는 구글과 MSN 등에서만 통용되며, 파일명 뒤에 반드시 $표시 필요

   - 모든 검색로봇이 예시적으로 folder라는 이름을 가진 모든 디렉토리와 파일 차단
     User-agent: *
     Disallow: /folder

     folder
    /folder.html
    /folder/abt.html
    /folderaa
    /folder.php?id=aa

     ** 자세한 내용은 http://www.robotstxt.org 참조


2. meta태크(메타태그)을 적용하는 방법

    - 모든 로봇이 사이트 페이지에 대해 색인을 생성하지 못하게 하는 경우
      페이지 <head></head>사이에 아래의 소스를 추가
      <META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW">

    - 구글 로봇만 차단하고 다른 로봇은 사이트 페이지에 대해 색인을 생성하도록 하는 경우
      페이지 <head></head>사이에 아래의 소스를 추가
      <META NAME="Googlebot" CONTENT="NOINDEX, NOFOLLOW">

    - 모든 검색 로봇이 사이트 페이지에 대해 색인은 생성하나, 외부와 연결된 링크를 따라가지 않도록 하는 경우
      페이지 <head></head>사이에 아래의 소스를 추가
      <META NAME="ROBOTS" CONTENT="NOFOLLOW">

    - 모든 검색 로봇이 사이트 페이지에 대해 색인은 생성하나, 해당 페이지의 이미지 색인 생성하지 않도록 하는 경우
      페이지 <head></head>사이에 아래의 소스를 추가
      <META NAME="ROBOTS" CONTENT="NOIMAGEINDEX">

[설정 예시]
<meta name="robots" content="index, follow" /> : 문서 수집 가능, 링크 수집 가능
<meta name="robots" content="noindex, follow" /> : 문서 수집 불가능, 링크 수집 가능
<meta name="robots" content="index, nofollow" /> : 문서 수집 가능, 링크 수집 불가능
<meta name="robots" content="noindex, nofollow" /> : 문서 수집 불가능, 링크 수집 불가능


** 자세한 내용은
구글 : http://www.google.com/support/webmasters/bin/topic.py?topic=8459
네이버 : http://webmastertool.naver.com/guide/basic_optimize.naver#chapter2.3


검색로봇 robots.txt 작성 방법

홈페이지나 설치형 블로그 등을 운영하는 분이라면
로봇 배제 표준(robots.txt)이라고 들어 보셨을 텐데요.
로봇 배제 표준(robots.txt)은
웹사이트에 로봇이 접근하는 것을 방기하기 위한 규약을 말합니다.
일반적으로 접근 제한에 대한 설명을 robots.txt에 작성합니다.
로봇이 파일을 읽고 접근을 중지하는 것을 목적으로 하죠.
검색로봇 robots.txt 작성 방법입니다.
모든 검색로봇 접근 차단
User-agent: *
Disallow: /
모든 검색로봇 접근 허용
User-agent: *
Allow: /
특정 검색로봇만 허용하고 나머지 차단하기
User-agent: *
Disallow: /
User-agent: *
Allow: Googlebot
특정 폴더만 접근 금지
User-agent: *
Disallow: /폴더명/
검색로봇
네이버 Yetibot
다음 Daumoa
구글 Googlebot
야후 Yahoo! Slurp
마이크로소프트 Msnbot
빙 Bingbot
검색로봇 robots.txt 작성 방법은
먼저 robots.txt을 만듭니다.
모든 검색로봇의 접근을 허용하려면 메모장에
User-agent: *
Allow: /
라고 입력합니다


profile
조회 수 :
205
등록일 :
2018.07.10
19:22:47 (*.172.101.44)
엮인글 :
http://bjc1111.namoweb.net/xe/bbs2/32477/c65/trackback
게시글 주소 :
http://bjc1111.namoweb.net/xe/32477
List of Articles
번호 제목 날짜 조회 수
293 파디션(포맷) 삭제하기 file 2019-03-11 91
292 웹페이지 복사금지일때 해결방법 file 2019-03-09 3203
291 제로보드4 제로보드xe로 데이터 이전하기 2019-02-10 13
290 블루투스 스피커 연결(드라이버) 2019-02-02 35
289 rufus 3.1 입니다 file 2018-08-25 227
» 네이버 구글 검색 로봇 허용 또는 차단하는 방법 2018-07-10 205
287 블로그 복사금지 해제 방법 file 2018-07-03 2280
286 윈도우10 바이오스 진입 (uefi 설정하기) file 2018-06-29 2038
285 •ECS A320AM4-M3D 레이븐릿지 바이오스 자동업데이트(배치.... file 2018-06-28 554
284 bios업데이트 중 꺼졌습니다 file 2018-06-26 51
283 엣지 브라우저에서 이 웹 사이트에는 Internet Explorer가 필요함 호환성 설정하는 방법 file 2018-05-13 245
282 제로보드 XE 의 엮인글(Trackback) 스팸의 해결법.. file 2018-04-21 892
281 HEIF(고효율 이미지 파일 형식)-IT용어 2018-04-05 74
280 윈도우10 3d개체 내pc 폴더 삭제하기 file 2018-02-04 764
279 인터넷 탭 분리 및 합치기 file 2018-01-19 813
278 알드라이브 사용법 알아보자 file 2017-10-18 1352
277 [제로보드] (펌) 모든 글이 비밀글로 써지는 게시판 2017-10-08 335
276 Windows 10 탐색기의 "내 PC"에 표시되는 특별폴더들 제거하기 file 2017-10-04 198
275 애니메이션 소프트웨어, Autodesk Maya file 2017-08-15 151
274 [Win10 PE 만들기] 1. WinPE.iso 만들기 전에 USB 파티션 준비하기 file 2017-06-15 887