겉핥기 코딩노트

Robots (2)

[블로그 관리] 티스토리 블로그 노출을 위한 Robots.txt의 진실

IT/블로그 풋내기개발자 2020. 5. 9. 00:41

Robots.txt는 무엇인가? 네이버나 구글, 다음 등 검색포탈사이트는 각자 운영중인 검색엔진이 있다. 검색엔진이 웹사이트를 모두 찾아다니면서 사이트 정보를 가져오는데 이것을 크롤링이라고 한다. 검색엔진은 모든 웹사이트의 정보를 다 긁어오는데, 이러면 무슨 문제가 생길까? 사이트의 관리자만 볼 수 있는 페이지나 비밀글, 물론 로그인이 필요하겠지만 이런 페이지들이 인터넷에 노출이 될 수도 있다는 것이다. 나쁘게 보면 공격 대상이 될 수도 있지 않을까? Robots.txt는 검색엔진이 무분별하게 모든 페이지를 크롤링하는 행위를 막기 위한 크롤링 정책이 작성된 문서라고 보면 된다. 내 블로그의 robots.txt를 예시로 가져왔다. User-agent는 검색엔진의 이름으로, 네이버는 Yeti, 구글은 Goo..

[블로그 관리] 티스토리 블로그 네이버와 구글에 노출시키기 #1(네이버 노출)

IT/블로그 풋내기개발자 2020. 5. 5. 00:30

티스토리 블로그를 생성하고 운영하면서 네이버나 구글에 노출이 되는 방법을 많이 알아보았다. 다음은 지금까지 공부한 내용을 작성해보려고 한다. 기본적으로 티스토리 블로그는 모든 검색엔진에서 검색이 가능하다고 하지만 이상하게 검색이 안되는 것 같다는 말이지... ● 네이버 서치 어드바이저에 블로그 등록 https://searchadvisor.naver.com/ 네이버 서치어드바이저 네이버 서치어드바이저와 함께 당신의 웹사이트를 성장시켜보세요 searchadvisor.naver.com 네이버의 관점에서 내 블로그를 진단하고 개선방법을 찾아주는 도구라고 한다. 우측 웹마스터 도구 버튼을 클릭하자. 등록된 사이트가 쭉 나열된다. 최대 100개까지 등록할 수 있으니 참고하면 된다. 이 블로그는 이미 등록을 해놓았으..

Copyright © 겉핥기 코딩노트 All Rights Reserved
Designed by JB FACTORY

티스토리툴바