CloudClass

Data Engineering on Goolge Cloud Paltform

Data Engineering on Goolge Cloud Paltform

  • Level 중급 과정
  • Role 빅 데이터 & 머신 러닝
  • Duration 4 days
  • Price 1,800,000원
개발자중급과정

교육 개요

Google Cloud Platform에서 데이터 처리 시스템을 설계하고 구축하는 방법에 대해 학습합니다. 강의, 데모 및 실습을 통해 데이터 처리 시스템을 설계하고, end-to-end 데이터 파이프 라인을 구축하며 데이터를 분석하고 머신 러닝을 수행하는 방법에 대해 배웁니다. 이 과정은 구조화되고, 구조화되지 않은 스트리밍 데이터에 대해 다룹니다.

교육 대상

다음을 포함한 빅 데이터 변환을 관리하는 개발자 대상

 

  • 데이터 추출, 로드, 변환, 정리 및 유효성 검사
  • 데이터 처리를 위한 파이프 라인 및 아키텍처 설계
  • 기계 학습 및 통계 모델 작성 및 유지
  • 데이터 세트 쿼리, 쿼리 결과 시각화 및 보고서 작성

교육 목표

  • Google Cloud Platform에서 데이터 처리 시스템을 설계 및 구축 할 수 있다. 
  • Cloud Dataflow에서 자동 확장 데이터 파이프 라인을 구현하여 배치 및 스트리밍 데이터를 처리할 수 있다. 
  • Google BigQuery를 사용하여 매우 큰 데이터 세트에서 비즈니스 통찰력을 도출할 수 있다. 
  • Tensorflow 및 Cloud ML와 기계학습 모델을 사용하여 교육, 평가 및 예측할 수 있다. 
  • Cloud Dataproc에서 Spark 및 ML API를 사용하여 비정형 데이터를 활용할 수 있다.
  • 스트리밍 데이터에서 즉각적인 통찰력을 제공할 수 있다.

교육 내용

본 과정은 AWS 공인교육으로 AWS 공인강사(AWS Authorized Instructors)가 강의를 진행합니다.

  1. 1day
    • 모듈 1 : 데이터 엔지니어링 소개
    • 모듈 2 : 데이터 레이크 구축
    • 모듈 3 : 데이터웨어 하우스 구축
    • 모듈 4 : 배치 데이터 파이프 라인 구축 소개
    • 모듈 5 : Spark on Cloud Dataproc 실행
  2. 2day
    • 모듈 6 : Cloud Dataflow를 사용한 서버리스 데이터 처리
    • 모듈 7 : Cloud Data Fusion 및 Cloud Composer로 데이터 파이프 라인 관리
    • 모듈 8 : 스트리밍 데이터 처리 소개
    • 모듈 9 : Cloud Pub / Sub를 통한 서버리스 메시징

 

  1. 3day
    • 모듈 10 : Cloud Dataflow 스트리밍 기능
    • 모듈 11 : 처리량이 많은 BigQuery 및 큰 스트리밍 기능
    • 모듈 12 : 고급 BigQuery 기능 및 성능
    • 모듈 13 : 분석 및 AI 소개
    • 모듈 14 : 비정형 데이터를 위한 사전 구축 된 ML 모델 API
  2. 4day
    • 모듈 15 : Cloud AI 플랫폼 Notebook을 사용한 빅 데이터 분석
    • 모듈 16 :  Kubeflow를 사용한 생산 ML 파이프 라인
    • 모듈 17 : BigQuery ML에서 SQL을 사용한 사용자 정의 모델 작성
    • 모듈 18 : Cloud AutoML을 사용한 사용자 정의 모델 구축

선수 지식

  • 「Google Cloud Fundamentals: Big Data and Machine Learning」 수료 또는 동등한 수준의 경험 보유
  • SQL과 같은 공통 쿼리 언어의 기본 능력
  • 데이터 모델링, 추출, 변화느 로드 활동 경험
  • Python과 같은 공통 프로그래밍 언어를 사용하여 응용 프로그램 개발 경험
  • 기계 학습 및 통계에 대한 지식

선수 과정