구글 서치 콘솔 색인 등록. 'robot.txt를 찾을 수 없음' 해결 방법. 티스토리 우당탕탕 성장 이야기
어제저녁 'robot.txt를 찾을 수 없음'이라는 문제를 해결하기 위해 여러 가지 방법을 시도해 보았다. 티스토리 블로그를 시작한 지 얼마 되지 않은 나에게 첫 번째 시련이 시작된 것이다.
구글 서치콘솔은 내 블로그 글을 구글 로봇이 크롤링해서 구글에 노출시키는지 확인 할 수 있는 곳이다. 보통의 경우 자동으로 구글 로봇이 글을 수집하는데 내 블로그의 첫 글을 제외하고 나머지 글을 로봇이 수집하지 않고 있었다. 즉 색인 생성이 되지 않은 것이다.
그래서 어제 저녁 수동으로 색인 생성 요청하는 작업을 진행했는데 'robot.txt를 찾을 수 없음'이라는 오류가 발생해서 수동 등록이 안 됐었다.
- 구글 서치 콘솔 색인 등록 오류
이렇게 색인이 생성되지 않으면 구글에서 검색했을 때 내 글이 나오지 않는다. 자신의 블로그나 사이트의 글이 구글에 색인 등록이 되었는지 확인하는 방법은 구글 검색창에 'site:본인블로그주소'를 검색해 보면 된다.
이 때 본인이 작성한 여러 개의 글 중 일부분은 나오지만 그 외의 글은 나오지 않을 수 있다. 검색되는 글은 구글 로봇이 글을 수집했기 때문에 노출이 되는 것이고 나오지 않는 글은 여러 이유 때문에 로봇이 수집하지 않은 글이다. 내 경우 가장 처음 작성한 글 1개를 제외하고 모두 구글에서 검색되지 않았다.
구글 서치콘솔에서 수동으로 색인 생성 요청 하는 방법이 있다고 해서 해보았다. 하지만 오류가 생기면서 요청이 거절되었다. 그 오류는 바로
???????????????????????????
글에 첨부할 이미지를 위해 방금 다시 신청해 보았는데 갑자기 색인 생성 요청이 성공적으로 되었다. 와. 이게 도대체 무슨 일인지 모르겠다. 어제저녁에 수없이 시도했을 때는 분명히 안 됐었는데...
혹시 모르니 다른 글도 신청해봐야겠다.
잠시 후
???? 진짜 되네.
사실 어제저녁에 계속 시도하다가 너무 안되길래 폭풍 검색을 해보았다. 그랬더니 이런저런 이유가 있지만 결국은 '기다리면 된다'였다. 그런데 그게 실제로 기다리면 될 줄이야. 어제 내가 고생한 시간은 누가 보상해 주나.
글을 쓰고 나서 나머지 도 수동으로 색인 생성 요청을 해야겠다. 참고로 내가 겪은 오류는 'robot.txt를 찾을 수 없음'이었다.
혹시라도 나와 같은 오류 메시지가 뜨면서 안 되는 분들은 다음 날 다시 시도하기를 바란다. 지금 글을 작성하면서 수동으로 요청하는 중인데 최근 작성한 글까지 문제없이 색인 생성 요청이 되고 있다.
- 'robot.txt를 찾을 수 없음' 해결 방법
기다리면 된다. 너무 간단하네.
추가 내용을 알려드리자면 이 robot.txt 파일은 로봇이 내 글을 수집해 갈 수 있도록 허용하는지 여부에 대한 내용이 담긴 파일이다. 티스토리의 경우는 이 파일을 수정하거나 변경할 수 없다.
어떤 사람은 메타태그를 수정하라고 하는데 그건 잘못된 내용이다. 메타태그와 robot 텍스트 파일은 전혀 연관성이 없다. 괜히 메타태그 작성하는데 시간을 허지 하지 말고 그냥 기다리면 해결이 된다. 아참 그리고 어떤 블로그에서는 티스토리 관리 메뉴의 스킨편집에서 robot.txt 파일을 업로드하라고 하는데 이는 잘 못된 정보이다.
티스토리의 경우 파일 업로드는 가능하지만 업로드 위치가 images 폴더로 한정되어 있기 때문에 의미 없는 행동이다. 글을 쓰며 나머지도 수동 색인 요청에 성공했다. 부디 다른 분들도 고생하지 말고 기다렸다가 다음날 다시 시도해 보길 바란다.