11편: robots.txt 설정이 잘못되어 있는 경우

robots.txt 설정이 잘못되면 사이트 전체가 검색에서 제외될 수 있다. sitemap.xml 연결, Disallow 설정 주의사항 등 구글 애드센스 승인에 필요한 핵심 내용을 쉽게 설명한다.

 

 

 

애드센스 계속 거절됐던 이유, 알고 보니 robots.txt 때문이었다

애드센스 승인을 앞두고 글을 20편 넘게 썼다. sitemap도 등록했고, meta 태그도 모두 작성했다. 그런데도 Search Console에서는 '색인이 생성되지 않음'이라는 메시지가 반복되었다. 콘텐츠 품질이나 내부 구조가 문제인 줄 알았지만, 실제 원인은 뜻밖에도 robots.txt 파일이었다.

robots.txt는 단순한 텍스트 파일이지만, 이 설정 하나로 사이트 전체가 검색에서 제외될 수 있다. 이 글은 색인 누락과 애드센스 승인 실패를 겪고 나서야 깨달은 교훈을 담고 있다. 나처럼 이유를 몰라 답답했던 분들을 위해 robots.txt 설정 오류가 어떤 문제를 만들고, 어떻게 해결할 수 있는지 구체적으로 설명하고자 한다.

robots.txt는 무엇이며 왜 중요한가?

robots.txt는 사이트 루트 디렉터리에 위치하는 텍스트 파일이다. 이 파일은 검색엔진 크롤러에게 어떤 경로는 접근해도 좋고, 어떤 경로는 접근하면 안 되는지를 지시한다. 설정이 잘못되면 검색에서 사이트 전체가 제외되기도 하며, 이는 곧 색인 실패로 이어진다.

실제 오류 사례: 사이트 전체 차단

User-agent: *
Disallow: /

이 설정은 모든 검색엔진에 대해 사이트 전체 접근을 차단한다는 의미이다. 보통 초기 제작 단계에서 임시로 넣는 경우가 많다. 그러나 이 설정을 그대로 두고 콘텐츠를 작성하면, 사이트 전체가 색인되지 않게 된다. 나 역시 이 설정을 수정하지 않아 수십 개의 글이 색인 대상에서 제외되었다.

문제 예시: sitemap.xml 차단

Disallow: /sitemap.xml

sitemap.xml은 검색엔진에게 사이트 구조를 알려주는 역할을 한다. 이 경로를 차단하면 검색엔진은 전체 구조를 알지 못하게 되고, 색인 속도와 정확도가 떨어진다. 초보자일수록 이 부분을 실수하는 경우가 많다.

또 다른 실수: 콘텐츠 경로 자체 차단

Disallow: /blog/

블로그 글이 모두 /blog/ 하위 경로에 있는 경우, 이 설정은 게시글 전체를 검색에서 제외하게 만든다. 특히 티스토리처럼 경로 변경이 제한된 블로그 플랫폼에서는 매우 치명적인 설정이다.

혼선 유발: 특정 크롤러만 차단

User-agent: Googlebot
Disallow: /temp/

특정 검색엔진만 차단하는 설정은 운영자가 의도한 것과 다른 결과를 초래할 수 있다. Googlebot만 차단되면 애드센스 승인 심사에서도 콘텐츠를 확인할 수 없게 된다. 가능하다면 모든 크롤러를 동일하게 다루는 것이 좋다.

Search Console로 robots.txt 점검하기

1. Google Search Console에 로그인한다.
2. 사이트 속성 또는 URL 프리픽스를 등록한다.
3. 왼쪽 메뉴에서 ‘도구’ → robots.txt 테스터를 클릭한다.
4. 문제가 의심되는 경로를 입력하고 차단 여부를 확인한다.
5. 오류가 있다면 수정한 후 다시 색인 요청을 진행한다.

애드센스 승인 실패와의 관계

• robots.txt 설정이 잘못되면 Search Console 상에서 색인이 되지 않는다.
• 색인되지 않은 글은 애드센스 심사 시 ‘존재하지 않는 콘텐츠’로 간주된다.
• 검색 노출이 차단된 상태에서는 트래픽도 발생하지 않기 때문에 수익성과도 연결되지 않는다.

정상적인 robots.txt 설정 예시

User-agent: *
Disallow: /private/
Allow: /

Sitemap: https://minilayerlog.com/sitemap.xml

이 설정은 민감한 영역(/private/)만 차단하고, 나머지 경로는 색인을 허용한다. sitemap 경로도 명확히 포함하여 검색엔진이 구조를 잘 인식할 수 있도록 안내한다.

색인 요청 후에도 노출되지 않는 경우

robots.txt 설정을 수정한 이후에도 검색 노출이 되지 않는다면 다음 항목을 추가로 점검해야 한다. 첫째, 글의 제목과 본문이 검색자의 질문에 명확히 대응하는지 확인해야 한다. 둘째, 글 간 내부 링크가 연결되어 있는지 점검한다. 셋째, sitemap과 RSS 피드가 최신 상태로 유지되고 있는지도 확인해야 한다.

 

robots.txt는 작고 단순한 파일이지만, 검색 노출과 애드센스 승인에 결정적인 영향을 미친다. 검색에 나오지 않는 콘텐츠는 아무리 잘 썼더라도 사용자에게 도달할 수 없다. 애드센스를 준비하고 있다면, robots.txt 설정을 가장 먼저 점검해야 한다. 내 글이 세상에 보이기 위해서는, 검색엔진이 먼저 내 사이트를 자유롭게 돌아다닐 수 있어야 한다.