> ## Documentation Index
> Fetch the complete documentation index at: https://www.octoparse.com/docs/llms.txt
> Use this file to discover all available pages before exploring further.

# 웹 스크래핑과 웹 크롤링의 차이

> 스크래핑과 크롤링은 자주 혼동되지만 서로 다른 문제를 해결합니다. 기술적·목적상 차이와 각각의 적절한 사용 시점을 알아보세요.

[웹 스크래핑](/docs/ko/academy/what-is-web-scraping)과 웹 크롤링은 흔히 같은 의미로 사용되지만 실제로는 서로 연계되는 두 가지 별개의 작업입니다.

## 크롤링: 탐색

크롤링의 목적은 탐색입니다. 크롤러는 링크를 따라 웹사이트를 이동하고 구조를 파악하며 URL을 수집합니다. 중요한 페이지를 모두 찾기 위한 탐험과 비슷합니다. 검색 엔진은 웹을 크롤링해 어떤 정보가 어디에 있는지 색인을 만든다는 대표적인 예입니다.

## 스크래핑: 추출

스크래핑의 목적은 추출입니다. 필요한 데이터가 있는 페이지를 파악한 후 스크래퍼가 해당 페이지를 방문해 가격, 제목, 설명, 연락처 등 활용 사례에 필요한 필드를 가져옵니다. 목표는 탐색이 아니라 구조화된 결과입니다.

## 두 단계로 분리하는 이유

실제 데이터 수집 작업은 대부분 두 과정을 모두 포함합니다. 먼저 사이트를 크롤링해 관련 페이지 URL을 모두 찾고, 각 페이지를 스크래핑해 실제 데이터를 추출합니다. 한 번에 두 작업을 수행할 수도 있지만 복잡한 사이트에서는 두 단계로 나누는 편이 효율적입니다. 크롤링 단계가 정리된 URL 목록을 만들고 스크래핑 단계가 그 목록에서 콘텐츠를 추출합니다. 각 단계를 독립 실행하고 전체 작업을 다시 하지 않고 실패만 재시도하며 여러 페이지의 스크래핑을 병렬화할 수 있어 대규모 수집 속도가 크게 향상됩니다.

## Octoparse가 두 작업을 처리하는 방식

Octoparse는 전용 AI 기반 모드로 두 작업을 모두 처리합니다. AI Crawl은 사이트의 링크 구조를 분석하고 [페이지 넘기기](/docs/ko/academy/handle-pagination), 카테고리 또는 중첩 페이지에서 대상 URL을 수집하는 워크플로를 자동 생성합니다. AI Scrape [템플릿](/docs/ko/platform/templates)은 이 URL을 받아 각 페이지에서 구조화된 데이터를 추출합니다. 두 단계를 연결되지만 독립적인 작업으로 처리하므로 URL 목록이 준비되면 수백 또는 수천 페이지를 순차 처리하지 않고 [클라우드에서 동시에 스크래핑](/docs/ko/academy/cloud-web-scraping)할 수 있습니다. 하루 걸릴 작업을 몇 분 만에 끝낼 수도 있습니다.

## 핵심 정리

크롤링과 스크래핑을 하나의 파이프라인을 구성하는 두 단계로 생각하세요. 먼저 크롤링해 대상 목록을 만들고 다음으로 스크래핑해 데이터를 얻습니다. 두 단계를 분리하면 제어력과 오류 처리 능력이 향상되고 추출 단계를 수평 확장할 수 있습니다. 이는 수천 또는 수백만 페이지가 있는 사이트를 처리할 때 특히 중요합니다.