Google은 새로운 사용자 에이전트 인 새로운 Google 크롤러를 Google 스파이더 목록에 추가했습니다. 이름은 Google Site Verifier 사용자 에이전트입니다. 그런데이 사용자 에이전트는 robots.txt 규칙을 무시합니다. 이것은 Search Console 및 기타 Google 도구 및 서비스로 사이트를 확인하는 데 사용된다고 생각합니다.

Google은 새로운 사용자 에이전트를 Google Crawlers 도움말 문서에 게시했습니다.

사용자 에이전트 토큰은 다음과 같습니다. Google-Site-Verification

전체 사용자 에이전트 문자열은 다음과 같습니다. Mozilla/5.0 (호환 가능; Google-Site-Verification/1.0)

또한 Google은 “Google Site Verifier가 robots.txt 규칙을 무시한다”고 “주의”를 표시했습니다.

따라서 매우 제한된 기준으로 조심하십시오.

에서 포럼 토론 트위터.

업데이트 : 이것이 Search Console의 유효성을 검사한다는 내 가정은 정확했지만 Google의 John Mueller는 사용자 에이전트가 새로운 것이 아니라 문서에 추가되었다는 새로운 부분이 있다고 말했습니다.

Leave a Reply

Your email address will not be published.