웹 사이트에서 일반적으로 사용하는 robot.txt 파일은 로봇의 검색을 제한하기 위해 만들어진 규약으로 웹 사이트에 대한 민감한 정보를 차단하기 위해서 사용됩니다. 하지만 이 파일을 역으로 이용하여 웹 사이트를 해킹할 수 있습니다.
탐색과정
로봇(google, naver, daum 등)은 웹 사이트를 검색하기 전에 robot.txt 파일이 있는지 여부를 확인한 후 그 설정에 따라서 동작합니다. 하지만 robot.txt는 강제성을 띄지 않으므로 일부 스팸 발송자나 다른 악의적인 사용자는 이 파일의 설정을 무시하고 웹 사이트를 검색할 수 있습니다.
설정
robot.txt 파일은 웹 사이트의 최상위 경로에 있어야 하며, 다른 경로에 제공 시 robot.txt의 규칙을 사용하지 못 합니다. 그리고 robot.txt에 설정하는 규칙은 아래와 같이 2 가지가 있습니다.
1. User-Agent
일반적으로 robot이 해당 웹 사이트를 검색할 때 사용하는 user-agent 정보를 확인하며, 아래와 같은 agent가 존재합니다.
| google | Googlebot |
| Google image | Googlebot-image |
| naver | Cowbot |
| yahoo | Slurp |
| Yahoo image | Yahoo-mmcrawler |
| empas | Empas |
| msn | Msnbot |
User-Agent 설정 시 "*"로 설정하면 전체에 대한 robot 설정을 할 수 있음.
2. Disallow
"Disallow : /folder1/"로 설정할 때 "/folder1"에 대한 access는 허용하지 않도록 설정할 수 있다.
대응기법
1. 관리자 페이지에 대한 접근 정책을 설정하여, 특정 IP 대역에서만 접근을 하도록 하면 보안을 강화할 수 있다. 이는 넷스케이러의 CF(Content Filtering) 기능을 통해서 간단하게 제공할 수 있다.
2. Meta tag 사용하여 robot이 웹 사이트를 검색할 때 웹 페이지에 대한 contents 수집여부 및 방식을 지정하는 규약이다.
일반적으로 설정하는 방법은 아래와 같으며 추가적인 meta tag에 대한 정보는 별도의 자료를 참조(http://www.robotstxt.org")
| <head> <meta name="robot" content="noindex,nofollow"> <meta name="description" content="검색금지"> </head> |
Jae Hong Kim
Manager / Technical 2 Team / 
Specialist
FOR YOU NETWORKS
3F., MyungKwang Bldg, 1702-10 Seocho-dong, Seocho-ku, Seoul Korea
T. 82-2-585-6611 M. 82-10-2587-3621
F. 82-2-565-7115 E. jhkim@foryounet.co.kr
Foryounetworks is the global leader in Network infrastructure.
댓글 없음:
댓글 쓰기