처리할 수 있는 시나리오
정리되지 않은 값 클리닝
내보내기 전에 텍스트를 제거, 교체, 공백 정리 또는 형식 변경합니다.
값의 일부 추출
일치 규칙이나 정규식을 사용하여 필요한 텍스트 패턴만 유지합니다.
행 전체 표준화
접두사를 추가하고 반복 텍스트를 제거하거나 행마다 일관되지 않은 값을 정규화합니다.
날짜 및 타임스탬프 형식 변경
날짜 형식, 상대 날짜, Unix 타임스탬프 또는 시간대 오프셋을 일관된 출력으로 변환합니다.
Price:또는Rating:같은 라벨 제거- 원하지 않는 문자나 여분의 공백 교체
- 각 값에 접두사 또는 접미사 추가
- 날짜 형식 변경 또는 시간대 변환
- HTML 엔터티를 일반 텍스트로 디코딩
데이터 클리닝 열기
1
필드 선택
데이터 미리보기나 필드 목록에서 정리할 추출 필드를 선택합니다.
2
필드 메뉴 열기
해당 필드의
... 메뉴를 클릭합니다.3
데이터 클리닝 선택
데이터 클리닝을 선택하여 데이터 클리닝 워크플로를 엽니다.
4
클리닝 단계 추가
단계 추가를 클릭한 다음 적용할 작업을 선택합니다.
5
결과 미리보기
규칙을 저장하기 전에 미리보기 값을 확인합니다.
일반적인 세부 조정 작업
패턴 기반 클리닝에 정규식 사용
값이 일정한 패턴을 따르지만 간단한 교체나 공백 제거 규칙으로 안정적으로 정리할 수 없는 경우 정규식이 유용합니다.- 문장에 포함된 숫자나 가격 추출
- 알려진 구분 기호(예:
:,|,-) 앞이나 뒤의 텍스트 일치 - HTML 속성 값의 일부만 유지
- 행마다 다르게 반복되는 패턴 제거
- 페이지마다 약간씩 다른 값에서 부분 문자열 분리
전체 패턴 및 구문 목록은 도움말 센터의 데이터 추출용 정규식 치트 시트를 참조하세요.
예시: 속성에서 값 추출
일부 웹사이트는 유용한 데이터를 표시 텍스트가 아닌 속성에 저장합니다. 예를 들어 평점은alt="5 stars"와 같은 이미지 속성이나 src와 같은 소스 값에 저장될 수 있습니다.
1
요소 선택
평점 아이콘이나 텍스트 블록과 같이 필요한 값이 포함된 요소를 선택합니다.
2
소스 값 선택
값이 저장된 위치에 따라 이미지 URL, OuterHTML 또는 기타 속성 등의 옵션을 사용합니다.
3
필드 사용자 지정
필드 메뉴를 열고 필드 사용자 지정 또는 데이터 클리닝을 선택합니다.
4
대상 값 추출
관련 속성을 선택하거나 정규식을 사용하여 유지할 HTML 부분을 일치시킵니다.
5
저장 전 미리보기
작업을 실행하기 전에 미리보기에 예상 값이 표시되는지 확인합니다.
필드 세부 조정의 한계
세부 조정 규칙은 Octoparse가 이미 추출한 값을 정리합니다. 웹페이지의 구조를 변경하지는 않습니다. 예를 들어 여러 줄의 텍스트 블록이 시각적으로 여러 줄로 표시되지만 실제로 페이지 소스에서 하나의 요소라면 Octoparse가 이를 하나의 필드로 처리할 수 있습니다. 이 경우 시각적인 줄 바꿈만으로 여러 필드로 나누지 못할 수 있습니다. 데이터가 실제로 저장된 방식에 따라 소스 구조를 확인하고 필드 선택, 추출 설정 또는 정규식 클리닝을 사용하세요.권장 사항
- 올바른 요소가 선택되었는지 확인한 후 필드를 세부 조정하세요.
- 정규식을 시도하기 전에 간단한 클리닝 단계를 사용하세요.
- 저장하기 전에 각 단계를 미리 보세요.
- 내보낸 데이터를 쉽게 이해할 수 있도록 필드 이름을 명확하게 지정하세요.
- 후속 시스템에서 나중에 형식을 처리할 수 있다면 과도한 클리닝을 피하세요.
- 팀원이 작업을 유지 관리할 수 있도록 복잡한 정규식 패턴을 문서화하세요.