10. 5. 7.

robot.txt 취약점

웹 사이트에서 일반적으로 사용하는 robot.txt 파일은 로봇의 검색을 제한하기 위해 만들어진 규약으로 웹 사이트에 대한 민감한 정보를 차단하기 위해서 사용됩니다. 하지만 이 파일을 역으로 이용하여 웹 사이트를 해킹할 수 있습니다.

 

탐색과정

로봇(google, naver, daum )은 웹 사이트를 검색하기 전에 robot.txt 파일이 있는지 여부를 확인한 후 그 설정에 따라서 동작합니다. 하지만 robot.txt는 강제성을 띄지 않으므로 일부 스팸 발송자나 다른 악의적인 사용자는 이 파일의 설정을 무시하고 웹 사이트를 검색할 수 있습니다.

 

설정

robot.txt 파일은 웹 사이트의 최상위 경로에 있어야 하며, 다른 경로에 제공 시 robot.txt의 규칙을 사용하지 못 합니다. 그리고 robot.txt에 설정하는 규칙은 아래와 같이 2 가지가 있습니다.

1.     User-Agent
일반적으로 robot이 해당 웹 사이트를 검색할 때 사용하는 user-agent 정보를 확인하며, 아래와 같은 agent가 존재합니다.

google

Googlebot

Google image

Googlebot-image

naver

Cowbot

yahoo

Slurp

Yahoo image

Yahoo-mmcrawler

empas

Empas

msn

Msnbot

User-Agent 설정 시 "*"로 설정하면 전체에 대한 robot 설정을 할 수 있음.

2.     Disallow
"Disallow : /folder1/"
로 설정할 때 "/folder1"에 대한 access는 허용하지 않도록 설정할 수 있다.

 

대응기법

1.     관리자 페이지에 대한 접근 정책을 설정하여, 특정 IP 대역에서만 접근을 하도록 하면 보안을 강화할 수 있다. 이는 넷스케이러의 CF(Content Filtering) 기능을 통해서 간단하게 제공할 수 있다.

2.     Meta tag 사용하여 robot이 웹 사이트를 검색할 때 웹 페이지에 대한 contents 수집여부 및 방식을 지정하는 규약이다.
일반적으로 설정하는 방법은 아래와 같으며 추가적인 meta tag에 대한 정보는 별도의 자료를 참조(http://www.robotstxt.org")

<head>

<meta name="robot" content="noindex,nofollow">

<meta name="description" content="검색금지">

</head>

 

 

 

Jae Hong Kim
Manager / Technical 2 Team / citrixSpecialist
FOR YOU NETWORKS

3F., MyungKwang Bldg, 1702-10 Seocho-dong, Seocho-ku, Seoul Korea
T. 82-2-585-6611  M. 82-10-2587-3621 
F. 82-2-565-7115  E. jhkim@foryounet.co.kr

Foryounetworks is the global leader in Network infrastructure.

 

댓글 없음:

댓글 쓰기