INGESTION PIPELINE

외부 데이터 연결을 더 쉽게 확인하고 운영합니다.

분산된 데이터 시스템을 위한 재사용 가능한 연결, 변환, 검증, 재처리, 관측 흐름을 설계하는 제품 구상입니다.

제품 구상 · 판매 전

연결부터 실패 원인 확인까지

소스별 연동 작업을 운영자가 확인할 수 있는 순서로 만듭니다.

REST API, MQTT, webhook, DB 커넥터를 계획합니다. 소스마다 인증 방법, 수집 주기, 필드 형식을 확인할 수 있도록 설계합니다.

NGSI-LD나 JSON-LD 같은 목표 형식으로 정규화하고 전달 전에 필수 필드와 데이터 형식을 검사하는 구조를 설계합니다.

실패한 레코드와 원인을 남기고, 수정 후 필요한 범위만 다시 처리할 수 있도록 설계합니다.

소스 데이터, 매핑 결정, 검증, 사람의 운영 판단을 분리해 확인할 수 있게 합니다.

개발 예정 기능의 사용 예시

소스: 주차 센서 payload
대상: NGSI-LD entity 제약
결과: 사람 승인용 매핑 초안, 이후 규칙 기반 검증

필드 대응표를 처음부터 작성하고 긴 로그를 읽는 시간을 줄이는 것이 목표입니다. Claude API가 초안을 제안하고, 운영자가 근거를 확인한 뒤 적용하도록 설계합니다.

소스별 요구사항을 정리하고 커넥터 경계, 변환 규칙, 실패 사례별 검증 기준을 설계하는 데 활용합니다. 구조와 배포 결정은 사람이 맡습니다.

인증 정보와 식별자를 제거한 소스 스키마·샘플·대상 제약을 서버에서 Claude API에 보내, 필드 대응표와 변환 규칙 초안을 받는 흐름을 계획합니다. 모호한 단위는 질문으로 남기고 사람이 검토·승인합니다.

식별 정보를 제거한 실패 로그와 검증 규칙을 보내 원인 후보, 근거 로그, 다음 점검 항목을 받도록 설계합니다. 운영자는 원본과 비교해 조치를 결정합니다.

Claude가 파이프라인 설정을 바꿀 수 있나요?

아닙니다. 계획된 역할은 사람이 검토할 초안과 설명입니다. 규칙 기반 검증과 승인된 변경은 별도 단계입니다.

어떻게 평가하나요?

운영자가 초안을 얼마나 수정하는지, 매핑 오류가 줄어드는지, 응답당 비용이 적절한지를 MVP에서 평가할 계획입니다.

제품 문의