NOTE: 이 포스트는 airflow의 기본 구조에 대한 내용을 담고 있습니다. 1. Airflow 구조 airflow의 일반적인 설치는 다음과 같은 구조입니다. 공식홈페이지 아키텍처 상세 아키텍처 Scheduler 스케줄된 workflow(DAG)들을 트리거 ...

NOTE: 이 포스트는 spark 배포 모드 중 YARN 클러스터 모드로 수행했을 때의 spark application의 흐름에 대한 내용을 담고 있습니다. 0. 기본 Spark Application 흐름 기본 Spark Application 정리는 링크된 글 내용 중 ‘2. Spark Application 흐름 정리’을 참고하면 됩니다...

NOTE: 이 포스트는 spark 배포 모드에 대한 내용을 담고 있습니다. 1. Spark Deploy Mode spark의 배포 모드에는 다음의 세 가지 모드가 있습니다. Local Mode 로컬 단일 머신에서 spark application 실행 주로 spark application 테스트용으로 사용 클라이언트 JVM...

NOTE: 이 포스트는 spark application의 개요에 대한 내용을 담고 있습니다. 1. Spark Components 전반적인 spark component는 다음과 같이 구성됩니다. Spark Application Spark에서 수행되는 프로그램, Driver와 여러 Executor로 구성 Spark Drive...

본 포스트는 mac 환경에서만 작업하다가 window 데스크탑을 마련한 사람이 적응해나가는 모습을 담은 포스트입니다. Window 환경에서 Linux 환경을 사용하기 위해서는 WSL(Windowns Subsystem for Linux)을 설치해야 한다. 1. 가상 머신 플랫폼 활성화 하기 제어판 > 프로그램 > 프로그램 및 기...

본 포스트는 mac 환경에서 작업한 내용들을 담았습니다. rbenv & jekyll 설치 jekyll은 gem을 사용해서 설치할 수 있다. jekyll과 bundler를 통해 앞으로 로컬에서 포스팅 결과를 테스트용으로 확인할 수 있도록 할 것인데 이 방법에 대해서 정리하도록 한다. jekyll이란? 일반 텍스트를 정...

환경 PC: MacBook Pro (M1/Intel) IDE: VSCode gitblog repository 생성 github blog를 만들기 위해서는 github에 레파지토리부터 생성해야한다. 생성하는 방법은 다음과 같고 아래 이미지를 참고해서 생성하면 된다! Repositories 선택...

The favicons of Chirpy are placed in the directory assets/img/favicons/. You may want to replace them with your own. The following sections will guide you to create and replace the default favicons...

Prerequisites Follow the instructions in the Jekyll Docs to complete the installation of the basic environment. Git also needs to be installed. Installation Creating a New Site There are two wa...

This tutorial will guide you how to write a post in the Chirpy template, and it’s worth reading even if you’ve used Jekyll before, as many features require specific variables to be set. Naming and...