최근 구글과 네이버의 티스토리 블로그 검색 누락을 겪었습니다. 이를 해결하고자 시도해본 사항 중 하나인 'robots.txt' 간단 생성으로 크롤링 로봇이 블로그 글을 자유롭게 가져갈 수 있도록 설정하였고 이를 여러분께 공유하고자 합니다. 이번 내용은 '네이버 서치어드바이저'에 여러분의 블로그가 등록되었다는 가정하에 포스팅 합니다.
robots.txt 생성 방법
제 블로그 또는 여러분의 블로그의 포스팅을 로봇이 잘 크롤링 할 수 있도록 'robots.txt'를 생성하고 티스토리 스킨 편집에 업로드해 주어야 합니다. 먼저, 'robots.txt'를 생성하기 위해서 '네이버 서치어드바이저'의 도움을 받아야 합니다. 아래 링크로 접속한 뒤, 순서에 따라 주세요.
1. 네이버 서치어드바이저 접속
2. 검증 - robots.txt 클릭
3. robots.txt 간단 생성 메뉴로 스크롤
4. '네이버 검색로봇이' → '모든 검색로봇이' 변경
5. '모두 방문, 수집하도록' 선택
6. '다운로드' 버튼 클릭
티스토리 robots.txt 적용
다운로드한 텍스트 파일을 티스토리에 적용함으로써 블로그에 방문하는 로봇이 포스팅을 잘 크롤링할 수 있도록 도와줍니다. 아래 그림과 같이 이동한 뒤, 순서에 따라 주세요.
1. 관리자 - 스킨편집 - html 편집
2. 파일업로드 탭 클릭
3. 'robots.txt' 파일 추가
4. 적용
위와 같이 적용하면 구글과 네이버 등과 같은 포털에서 로봇을 활용해서 블로그 포스팅을 원활하게 크롤링해 갈 수 있습니다. 여러분도 위와 같이 적용해서 포탈 상단을 장악하는데 도움되시기 바라며, 도움이 되는 포스팅을 아래와 같이 추천합니다.
댓글