Transformation
Ingestion을 통해 수집한 데이터를 쿼리 및 분석이 가능하도록 Transformation

Transformation 기능은 Ingestion을 통해 가져온 고객의 row 데이터를 쿼리 및 분석이 가능한 형태로 가공하는 단계입니다. 해당 기능은 윳,trino,spark 등의 다양한 오픈소스를 통해 제공되며 고객은 각자의 데이터 특징에 맞는 오픈소스를 선택하여 Transformation을 진행할 수 있습니다.

  • dbt

    간단한 Select 문으로 Lake Prime에 있는 Data를 변환하고
    결과를 Table에 저장해줌으로써 BI Tool을 이용한 분석이
    용이하게 해줍니다.

  • Trino

    Trino는 빅데이터용 분산 SQL 쿼리엔진으로 병렬화된 구조로
    속도가 빠르며 긴 SQL Query를 ETL Job 실행 할 때 효율적입니다.

  • Spark

    빅데이터 처리를 위한 분산처리 플랫폼이자 분산처리엔진으로
    인메모리 기반으로 처리 속도가 빠르며 자바, 스칼라, 파이썬,
    SQL 등 다양한 언어와 머신러닝 관련 Lib를 다양하게 지원합니다.

  • Iceberg Table

    Apache Iceberg의 경우 다른 Table과는 다르게
    ORC, Avro, Parquet 등의 형식을 지원하기 때문에
    확장성이 좋고 snapshot 방식으로 버전별 롤백을 지원합니다.

레이크프라임 서비스가 궁금 하신가요?

  • 서비스 이용방법
    Lake Prime 서비스 이용 방법을
    영상으로 만나보세요!
  • 고객센터 문의
    Lake Prime 서비스 및 이용 관련하여
    궁금하신 사항을 남겨주세요.

지금 바로, 상담을 통해 서비스 이용이 가능합니다.

서비스 신청하기
  • 데이터 이동
    Ingestion
  • 데이터 가공
    Transformation
  • 데이터 분석
    Analytics
  • 데이터 관리
    Management

공지사항

2022.11.24

N

공지사항 최근 게시글 5개 자동 소트 되며 한줄 롤링 형태로 위로 한줄씩 노출-01

2022.11.24

N

공지사항 최근 게시글 5개 자동 소트 되며 한줄 롤링 형태로 위로 한줄씩 노출-02

2022.11.24

N

공지사항 최근 게시글 5개 자동 소트 되며 한줄 롤링 형태로 위로 한줄씩 노출-03