Skip to main content
스크래핑한 원시 데이터는 그대로 사용하기 어려운 경우가 많습니다. 선택자가 값을 찾아도 문자열에는 불필요한 내용이 섞일 수 있습니다. 가격에는 통화 기호와 공백, 뒤따르는 문구가 붙고 전화번호는 한 사이트에서도 여러 형식으로 표시됩니다. 날짜도 “May 15, 2026”과 “2026-05-15”처럼 달라질 수 있습니다. **정규식(regex)**은 이런 텍스트를 정리·추출·변환해 일관된 구조화 필드로 만드는 표준 도구입니다. 정규식은 원하는 텍스트 형태를 패턴으로 정의합니다. 엔진이 문자열을 스캔해 일치 항목을 찾고 추출하거나 바꿉니다. 모든 문법과 예외를 익히지 않아도 몇 가지 일반 패턴만으로 대부분의 스크래핑 정리 작업을 처리할 수 있습니다.

일반적인 정리 패턴

소규모의 재사용 패턴 모음으로 대부분의 실제 사례를 처리할 수 있습니다.
  • 가격. \[\d,.]+는 쉼표와 소수점이 포함된 숫자 값을 캡처하면서 통화 기호와 주변 텍스트를 제거합니다. \(\d{1,3}(?:,\d{3})*(?:\.\d{2})?)로 다듬으면 1,299.99 같은 표준 형식을 더 정확히 찾습니다.
  • 전화번호. \(?\d{3}\)?[-.\s]?\d{3}[-.\s]?\d{4}는 괄호가 있거나 없고 대시, 점 또는 공백으로 구분된 일반적인 미국 형식을 처리합니다.
  • 이메일. \[\w.+-]+@\[\w-]+\.\[\w.]+는 대부분의 표준 이메일 주소를 찾는 대표적인 정규식입니다.
  • 날짜. \d{4}-\d{2}-\d{2}는 ISO 형식을, \w+ \d{1,2}, \d{4}May 15, 2026 형식의 문자열을 찾습니다.
  • HTML 태그 제거. <[^>]+>는 문자열에서 태그를 제거합니다.
  • 공백 정규화. \s+는 연속된 공백을 하나로 줄입니다.

실용적인 팁

  • 실제 샘플로 테스트하세요. 실제 페이지에는 이상적인 예시에 없는 예외가 있으므로 신뢰하기 전에 대상 사이트의 출력으로 패턴을 실행하세요.
  • 비탐욕 수량자(*?, +?)를 사용하세요. 짧은 일치와 긴 일치가 모두 가능하면 기본 *+는 가장 긴 항목을 선택하므로 원하지 않는 결과가 나올 수 있습니다.
  • 캡처 그룹을 사용하세요. 괄호 ()를 사용하면 더 큰 일치 항목에서 필요한 부분만 추출할 수 있습니다.
  • 로케일 예외를 확인하세요. 미국식 가격(1,299.99)용 정규식은 쉼표와 점의 역할이 반대인 유럽식 숫자(1.299,99)에서 잘못 작동합니다. 날짜, 전화번호, 소수 표기에도 같은 문제가 있습니다.

Octoparse의 접근 방식

정규식은 작성하기 어렵고 읽기는 더 어렵다는 평판이 있습니다. 복잡한 패턴은 알아보기 힘들며 작은 실수로 잘못된 데이터가 조용히 일치하거나 유효한 항목을 놓칠 수 있습니다. 문제는 충돌이 아니라 훨씬 뒤의 처리 단계에서야 발견되는 데이터 손상입니다. Octoparse는 정규식 지원을 추출 워크플로에 직접 포함합니다. 사용자는 스크래핑한 모든 필드에 후처리 단계로 정규식 변환을 적용해 별도 스크립트 없이 내보내기 전에 데이터를 정리하고 변환할 수 있습니다. 패턴, 적용 필드 및 정리된 결과가 모두 같은 작업 정의 안에 있습니다. 정규식을 처음부터 작성하기 어려운 사용자를 위해 AI 지원 정규식 생성도 제공합니다. 페이지에서 비슷한 요소를 강조하면 AI가 예시의 패턴을 분석해 일치하는 정규식을 자동 생성합니다. 플랫폼 안에서 실제 스크래핑 데이터로 테스트하고 일치 결과를 확인한 뒤 필요하면 조정할 수 있습니다. AI가 문법을 처리하고 사용자는 결과를 검증합니다. 이 방식은 빈 화면에서 패턴을 작성하는 비용과 실제 데이터에서 의도대로 작동하는지 확인하는 비용을 모두 줄입니다. 두 작업이 별도 엔지니어링 과제가 아니라 시각적 편집기 안에서 처리됩니다.

핵심 정리

대부분의 프로젝트에는 매우 복잡한 정규식이 필요하지 않습니다. 가격, 이메일, 날짜, 전화번호 및 공백 정리용 재사용 패턴만으로도 대부분의 작업을 처리할 수 있습니다. 정확히 일치하는 범위에서 패턴을 최대한 단순하게 유지하고 장기적으로 스크래퍼를 관리한다면 문서화하며 문법이 복잡해질 때 AI 생성을 활용하세요. 목표는 깨끗하고 일관된 결과이며 정규식은 이를 위한 수단입니다.