크롤링 봇들은 항상 웹을 탐색하고다닌다. 전 회사에 재직중인시절 모니터링 시스템에 로그인하지않은 사용자가 자꾸 특정 api를 요청한다는 알림이 와서 봤더니 google bot 이라는 user agent를 담고있는 구글 크롤러를 만난적도 있다. 이런 크롤러들은 웹의 여기저기를 찌르고다니지만 경우에따라서 크롤러에게도 공개하고싶지않은 리소스나 특정 크롤러는 아예 접근하지못하게 하고싶은 경우도 있을 수 있다. 그럴때 사용하는것이 루트 url의 robots.txt 이다. txt라고해서 무조건 정적 텍스트 파일을 반환해야하는것은 아니며 /robots.txt 로 get 요청을 날렸을때 Content-type: text/plan 형태의 문자 데이터만 반환하면 된다. http header 포맷과 비슷하게 반환하면 되는데..
이번 포스팅은 사실 별거 없는데... 몇분 뻘짓을 하고나서 알게돼가지고... 일단 글로 남긴다. 요즘 2017년이 끝나면서 여기저기서 회고록들이 보이고있다. 너무 많은 글들이 올라오고있어서 몇몇개를 보긴했는데 그 중에 github contribution 그래프를 캡쳐한 글들이 많이 있다. 아무래도 일일커밋 등이 유행을 하면서 github contribution 그래프가 1년의 노력들을 간략하게 볼 수 있는 지표적인 역할을 하는것 같다. (github contribution 그래프. 난 열심히 하지 않았나보다...) 그런데 회고록중에 저 컨트리뷰션 그래프를 3d로 올린글들이 많았다. github에 그리 열성적이지않은 내가 보기에도 너무 간지나서 내걸로 함 보려고했는데 나한테는 그런 옵션이 존재하지 않았다...
- Total
- Today
- Yesterday
- code
- 정규표현식
- MySQL
- go-core
- java
- frontcode
- db
- generics
- TEST
- mariadb
- programming
- spring cloud
- Design Pattern
- JPA
- OOP
- toby
- Kotlin
- JavaScript Core
- java8
- Jackson
- EffectiveJava
- Git
- Spring
- servlet
- backend개발환경
- clean code
- frontend개발환경
- http
- DesignPattern
- javascript
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | 5 | 6 | |
7 | 8 | 9 | 10 | 11 | 12 | 13 |
14 | 15 | 16 | 17 | 18 | 19 | 20 |
21 | 22 | 23 | 24 | 25 | 26 | 27 |
28 | 29 | 30 | 31 |