Programming
2021. 11. 27.
robots.txt 정리 및 예시
robots.txt 정리 및 예시 1. 웹 로봇이란? 웹 로봇이란 웹 사이트들을 자동으로 돌아다니는 프로그램을 말합니다. (크롤러, 스파이더...) 구글이나 네이버 같은 검색엔진이 웹 콘텐츠를 색인하는데 이용되기도 하며, 이외에도 데이터 수집 등 다양한 용도로 사용되고 있습니다. 2. /robots.txt ? 웹 로봇은 여러 웹사이트들을 돌아다니게 되며, 해당 웹사이트의 소유자는 /robots.txt 파일을 통해서 웹 로봇에게 해당 웹사이트에 대한 규약을 제공합니다. 3. /robots.txt 확인하기 최상위 도메인(~.com, ~.kr 등)의 뒤에 /robots.txt를 입력하여 확인할 수 있습니다. 제 티스토리 블로그 도메인에서도 확인이 가능합니다. https://inveglo.tistory.com/..
