https://lyb1495.tistory.com/104

1. 기본 구성

Master/Slave 모델을 따르며 다음과 같은 컴포넌트로 이루어져 있다.

1.1. Master(Frontier)

서버역할을 하며 Agent가 수집한 URL을 전송받아 관리하게 되며, 필터링된 URL을 다시 Agent로 분배한다.

1.2. Slave(Agent)

Frontier로부터 URL을 전송받아, 해당 URL의 웹페이지(HTML)를 처리한다. 웹페이지 처리 결과로 다른 웹페이

지에 대한 URL Link와 이미지 등의 리소스 URL Link를 추출한다. 추출된 모든 URL Link는 Frontier로 전송

한다.

1.3. Moniotor

Frontier와 Agent의 동작상태를 모니터링하고, 제어기능을 포함한다.

2. 동작 개요

전체적인 동작개요는 다음 그림과 같다.

<그림 1. 웹 크롤러의 기본 구성도>

2.1. Master(Frontier)

• 각 Agent가 방문해야 할 URL과 다운로드해야 하는 Resource URL 목록을 보관한다.
• Agent가 새로 수집한 URL을 전송하면 필터링을 수행한 후 남겨진 URL을 방문해야 할 URL 목록에 추가한다.
• Agent로 방문해야 할 URL을 분배한다.