"robots.txt" 태그된 글

1건의 포스트가 있습니다.

January 2016

1건의 포스트가 있습니다.

January 28, 2016

Nginx 설정으로 robots.txt 덮어쓰기

대부분 개발은 폐쇄망에서 개발하거나 공개되어도 auth 등을 걸어둬 아무나 접속하지 못하는 환경이기 때문에 큰 문제가 없다. 하지만 가끔 크롤링 되지 말아야 할 사이트가 검색엔진에 크롤링 되는 경우가 종종 있다. robots.txt을 에 넣어 각 …