작성자: 구글 Search Quality팀 석인혁, Chao Ma 날짜: 2008년 4월 2일 수요일 URL : http://googlekoreablog.blogspot.com/2008/04/robotstxt.html 검색엔진은 자신의 사이트를 많은 사람에게 알릴 수 있는 가장 좋은 방법 중 하나입니다. 이를 활용하기에 앞서 고려해야 할 것은 여러분들의 사이트에 있는 정보를 얼마 만큼 외부에 제공할 것인가를 설정하는 일입니다. 만약 여러분의 사이트에 검색엔진을 통해 색인이 생성되지 않도록 하려는 콘텐츠가 있다면,robots.txt 파일을 사용하여 웹을 색인하는 검색엔진 로봇(이하 "검색봇")을 차단하거나 필요한 부분만을 검색엔진에 나타나게 할 수 있습니다. 검색봇은 자동으로 작동하며, 한 사이트의 하위 ..