Octoparse Data Hub

Octoparse Data Hub는 데이터를 가져오는 기능을 소프트웨어가 호출할 수 있는 형태로 바꿉니다. 수집 템플릿, 수집 스크립트, 기존 데이터베이스, 외부 API, 가공 프로그램이 모두 Data App이라는 같은 껍데기를 쓰게 됩니다. 사람은 브라우저에서 실행해 보고, 에이전트는 연결용 코드 없이도 필요한 앱을 찾아 명세를 읽고 그대로 호출합니다.

​

Data Hub가 필요한 이유

지금까지 데이터 상품은 사람이 읽는 것을 전제로 만들어졌습니다. 사이트를 열고, 보고서를 내려받고, 결과를 손으로 정리했습니다. 에이전트는 이 중 어느 것도 하지 못합니다. 에이전트에게 필요한 것은 정해진 형식의 인자로 호출할 수 있는 대상, 스스로 읽어낼 수 있는 설명, 그리고 실제 사용량에 연동된 가격입니다. Data Hub는 바로 그 빈틈을 메웁니다. 데이터 출처마다 공급자를 찾고, 사이트마다 스크래퍼를 만들고, API마다 형식을 맞추는 일에서 벗어납니다. 사람이 다루든 에이전트가 다루든, 찾는 방식과 호출하는 방식은 언제나 같습니다.

​

Data Hub의 작동 방식

그 아래에 있는 것이 스크래퍼든, 사내에 이미 있던 데이터든, 제휴사 API든, 정제 로직이든 호출하는 쪽에서는 구분되지 않습니다. 그게 핵심입니다. 목록은 계속 늘어나도, 지난 분기에 붙여 둔 연동은 그대로 돌아갑니다.

​

Data App이란

Data App은 호출 가능한 기능 하나를 말합니다. 회사명으로 업종과 규모를 채워 넣기, 상품 URL로 리뷰 가져오기, 영상 링크 뒤의 상세 정보 꺼내기, 정리되지 않은 텍스트 정규화하기. 이런 처리가 각각 따로 포장되고, 가격이 매겨지고, 버전이 관리됩니다.

​

누가 쓰는가

공개 전 검수, 노출 범위 설정, 콘텐츠 관리, 카테고리 정비가 목록을 찾아볼 만한 상태로 유지합니다.

​

어떤 일에 쓰는가

​

들어가는 네 가지 길

네 가지 모두 같은 계정, 같은 목록, 같은 결과를 씁니다. 지금 일하는 방식에 맞는 쪽을 고르면 됩니다.

​

비용은 어떻게 되는가

둘러보고 읽는 데는 돈이 들지 않고, 호출이 실제로 데이터를 반환할 때부터 과금됩니다. 규칙은 게시자가 정해 상세 페이지에 공개합니다. 세 가지 형태가 거의 전부입니다.

• 기본 요금: 실행을 보낼 때마다 정액. 반환된 레코드 수와 무관합니다.
• 레코드당: 정상 반환된 레코드를 기준으로 계산하며, 일정 개수를 묶어 한 단위로 치기도 합니다.
• 자체 단위: 오디오 분량처럼 그 기능에 맞는 단위로 계산합니다.

실패한 실행에는 비용이 붙지 않습니다. 일부만 성공한 실행은 실제로 넘어온 레코드만 계산합니다. 금액은 계정 잔액에서 빠지고, 잔액이 떨어지면 새 호출이 멈춥니다. 사용량과 청구서는 오픈 플랫폼 콘솔에서 봅니다.

​

시작하기