robots.txt 파일은 검색 엔진 크롤러 지침을 포함하는 간단한 텍스트 문서입니다. 어떤 페이지를 크롤링하고 어떤 페이지를 피해야 하는지 알려줍니다. 이것은 “이 웹 사이트를 사용하는 데 필요한 규칙은 여기에 오세요”라는 봇의 신호와 같습니다.

이러한 파일의 목적은 검색 엔진이 사이트를 크롤링하는 가장 좋은 방법을 결정할 수 있도록 하는 것입니다. 이렇게 하면 봇과 서버의 부담이 줄어듭니다. 결국 데이터에 대한 불필요한 요청은 의미있는 방식으로 누구에게도 이익을 가져다주지 않습니다.

예를 들어, Googlebot(또는 기타 봇)이 블로그의 최신 게시물 또는 업데이트된 게시물 이외를 검색하는 이유는 없습니다.

Robots.txt 파일의 작동 방식

그것이 어떻게 작동하는지 이해하는 가장 쉬운 방법은 귀하의 웹사이트를 가정의 손님으로 생각하는 것입니다. 원하지 않습니다. 그래서 당신은 그들에게 이렇게 말합니다. 이 방에서 나오지 마십시오. “

이것이 robots.txt 파일의 역할입니다. 검색 엔진으로 이동해야 하는 위치(및 이동해서는 안 되는 위치)를 알려줍니다. 이 기적은 미리 정의된 규칙을 따르는 간단한 단계로 실현할 수 있습니다.

각 웹 사이트에는 하나의 robots.txt 파일만 포함될 수 있으며 정확한 이름을 따라야 합니다. 그 이상도 그 이하도 아닙니다.

Robots.txt 파일이 필요합니까?

짧은 대답은 예수입니다. 웹사이트에 robots.txt 파일이 필요합니다.

더 긴 대답은 검색 엔진 봇이 사이트를 크롤링하고 색인을 생성하고 그에 따라 robots.txt 파일을 만드는 방법을 알아야한다는 것입니다.

기밀 정보가 스패머나 해커의 손에 걸리지 않도록 할 뿐만 아니라 robots.txt 파일을 적절히 구조화하고 유지함으로써 검색 엔진 결과에서 사이트 순위를 향상시킬 수 있습니다.

관련 읽기

Robots.txt 파일을 만드는 방법

robots.txt 파일은 간단한 빈 텍스트 문서로 만들어집니다. 즉, MS 메모장과 같은 일반 텍스트 편집기만큼 간단한 도구로 만들 수 있습니다. 웹 호스팅 제어판에서 텍스트 편집기를 사용할 수도 있지만 컴퓨터에서 파일을 만드는 것이 더 안전합니다.

문서를 만든 후 지침을 입력합니다. 이를 위해서는 두 가지가 필요합니다. 먼저 robots.txt 파일에서 봇에게 알리고 싶은 것을 이해해야 합니다. 그런 다음 봇이 이해할 수 있는 지침을 사용하는 방법을 이해해야 합니다.

1부: Robots.txt 파일로 수행할 수 있는 작업

  • 특정 봇을 허용 또는 차단
  • 봇이 크롤링할 수 있는 파일 제어
  • 봇이 크롤링할 수 있는 디렉토리 제어
  • 이미지에 대한 액세스 제어
  • Sitemap 정의

더.

2부: Robots.txt 구문의 작동 방식 이해

robots.txt 샘플을 보면 콘텐츠가 기술 용어처럼 보이기 때문에 많은 사람들이 혼란스러워집니다. 그것은 평균적인 사람에게는 매우 정확합니다. robots.txt를 이해하는 핵심은 컴퓨터처럼 생각하는 것입니다.

컴퓨터가 작동하려면 명령이 필요하며 명령을 기반으로 작업을 처리합니다. 같은 것이 봇에도 적용됩니다. 한 번에 한 줄씩 지침을 읽습니다. 이러한 각 행은 특정 형식을 따라야 합니다.

robots.txt 파일의 일반적인 명령은 다음과 같습니다.

Google 개발자 문서에서 robots.txt 파일에 대한보다 포괄적 인 단계 목록을 얻을 수 있습니다.

Robots.txt 모범 사례

robots.txt의 지침을 따르지 않으면 웹 사이트가 작동하지 않을 수 있습니다. (출처: 구글)

어떤 의미에서는 robots.txt를 사용하여 봇의 동작을 사용자 정의할 수 있지만 이 기능을 위한 요구 사항은 매우 엄격합니다. 예를 들어 robots.txt 파일을 웹 사이트의 루트 디렉터리에 넣어야 합니다. 이것은 일반적으로 public_html 또는 www를 의미합니다.

일부 규칙은 협상 가능하지만 몇 가지 표준 지침을 이해하는 것이 좋습니다.

주문 보기

robots.txt 파일의 명령어는 순서대로 우선합니다. 즉, 충돌하는 명령은 기본적으로 파일의 첫 번째 인스턴스입니다. 주와 연방 법원의 판결을 비교하는 것과 같습니다.

자세히 보기

명령을 작성할 때는 가능한 한 매개변수를 구체적으로 작성하십시오. 봇은 협상하지 않으므로 무엇이 필요한지 정확하게 알려줍니다.

하위 도메인 가능

그러나 각 하위 도메인에 대한 robots.txt 파일의 규칙은 파일이 있는 하위 도메인에만 적용됩니다.

파일 확인

robots.txt 파일을 작성하고 덤프하면 심각한 문제가 될 수 있습니다. 일을 풀기 전에 추가할 규칙과 지침이 작동하는지 확인합니다.

아무것도 인덱싱하지 마십시오.

Google은 robots.txt에서 그렇게해서는 안된다고 말합니다. 그러므로 진실이어야 합니다.

최종 아이디어

엄밀히 말하면 robots.txt 파일은 필요하지 않습니다. 이는 크롤링할 콘텐츠가 많지 않은 소규모 또는 정적 웹 사이트에 특히 적용됩니다. 그러나 대규모 웹 사이트에서는 robot.txt가 웹 크롤러가 손실되는 리소스를 줄이는 데 필수적임을 알 수 있습니다. 이렇게하면 봇이 웹 사이트를 표시하는 방법을보다 잘 제어 할 수 있습니다.

계속 읽기

Leave a Reply

Your email address will not be published.