크롤링 (1) 썸네일형 리스트형 robots.txt 설정하기 페이지를 하나 만들어서 테스트 해 보려고 하는데, 아무래도 검색사이트 로봇이 가져갈 것 같았다. (특히 구글이놈!!) 오픈이 되도 딱히 문제는 없지만 그래도 찝찝하니 robots.txt 라도 해 놓자. robots.txt란 검색엔진 로봇이 페이지를 정보를 가져갈 수 있게 혹은 없게 하자는 일종의 규약입니다. (안지켜도 된다는..) 검색엔진 로봇이 크롤링을 통해 자기네 서비스에서 검색결과를 반영하지요. robots.txt 설정하기 robots.txt 파일을 만들어서 최상단(/)에 넣어 놓으면 됩니다. 참 쉽죠. 올렸다면 https://도메인/robots.txt 접속하면 나와야 합니다. (예: https://playon.tistory.com/robots.txt) 티스토리는 티스토리 자체에 들어 있어서 제가 .. 이전 1 다음
