스마트 의사 결정 엔진은 곧 출시될 예정입니다. 이 페이지에서는 계획된 기능을 설명하며 세부 정보는 출시 전에 변경될 수 있습니다.
중요한 이유
웹사이트마다 복잡도, 안티봇 보호 수준, 렌더링 요구 사항이 다릅니다. 하나의 추출 방식으로 모든 사이트를 안정적으로 처리할 수는 없습니다. SDE는 전략 선택을 자동화하여 이 문제를 해결하므로 사용할 방식을 사용자가 직접 결정할 필요가 없습니다.- 표준 브라우저에서 문제없이 로드되는 웹사이트에는 가볍고 빠른 추출을 적용합니다
- 더 엄격한 안티봇 조치가 있는 웹사이트에는 더 고급 전략을 자동으로 적용합니다
- 한 방식이 실패하면 수동 개입 없이 대체 방식으로 전환합니다
작동 방식
SDE는 작업 실행 전과 실행 중에 백그라운드에서 작동합니다.1
대상 분석
SDE는 도메인, 구조, 이전 실행에서 알려진 동작을 포함하여 대상 웹사이트의 특성을 평가합니다.
2
전략 선택
분석을 바탕으로 SDE는 성공 가능성이 가장 높은 추출 방식, 브라우저 환경 및 관련 설정을 자동으로 선택합니다.
3
실행 및 모니터링
선택한 전략으로 작업을 실행합니다. SDE는 차단, 빈 결과 또는 타임아웃 같은 문제가 있는지 실행을 모니터링합니다.
4
필요한 경우 대체 방식 적용
선택한 전략에 문제가 발생하면 사용자가 조치할 필요 없이 SDE가 자동으로 대체 방식으로 전환합니다.
5
결과 학습
실행 결과가 SDE에 다시 반영됩니다. 시간이 지남에 따라 시스템은 각 웹사이트에 가장 효과적인 방식의 프로필을 구축하여 향후 더 빠르고 정확하게 결정합니다.
다단계 추출 전략
SDE는 대상 웹사이트의 요구 사항에 따라 여러 추출 수준 중 하나를 선택합니다.
시스템은 가장 효율적인 수준으로 시작하고 필요한 경우에만 상위 수준으로 전환하여 비용을 낮추고 속도를 높게 유지합니다.
자동 대체 방식
차단, 타임아웃 또는 불완전한 데이터로 인해 추출 전략이 실패하면 SDE가 다른 방식으로 자동 재시도합니다. 따라서 다음과 같이 작동합니다.- 한 번의 실패로 작업이 중지되지 않습니다
- 수동 개입 없이 시스템이 복구됩니다
- 과거의 실패가 향후 전략 선택에 반영되어 반복 문제를 줄입니다
사이트 학습
SDE는 시간이 지남에 따라 웹사이트의 내부 프로필을 구축합니다. 특정 사이트에서 더 많은 작업을 실행할수록 시스템이 가장 효과적인 전략을 더 잘 이해합니다. 따라서 다음과 같은 이점이 있습니다.- 익숙한 웹사이트의 새 작업에는 처음부터 최적화된 전략이 적용됩니다
- 더 많은 데이터가 수집될수록 전략 선택이 지속적으로 개선됩니다
- 여러 실행에서 얻은 공동 학습의 이점을 활용할 수 있습니다
기대할 수 있는 효과
SDE가 출시되면 다음과 같은 효과를 얻을 수 있습니다.- 더 높은 성공률 — 수동 문제 해결 없이 작업이 완료될 가능성이 높아집니다
- 더 적은 수동 구성 — 전략 선택이 자동으로 처리됩니다
- 더 뛰어난 복원력 — 자동 대체 방식이 웹사이트 변경이나 차단의 영향을 줄입니다
- 지속적인 개선 — 시스템이 학습함에 따라 추출 성능이 계속 향상됩니다