[나는리뷰어다 2026] 데이터 엔지니어링 디자인 패턴

"한빛미디어 서평단 <나는리뷰어다> 활동을 위해서 책을 협찬 받아 작성된 서평입니다."

책 소개

https://www.hanbit.co.kr/store/books/look.php?p_code=B9262361709

데이터 엔지니어링 디자인 패턴

데이터 엔지니어링, 경험을 구조화하고 패턴으로 표준화하다

www.hanbit.co.kr

2025년에 이어 26년에도 참여하게된 한빛 미디어의 나는 리뷰어다 활동

올해의 첫번째 책은 '데이터 엔지니어링 디자인 패턴' 이라는 책이다

이번 책을 번역하신 식자분은 이전에 '견고한 데이터 엔지니어링' 책을 번역하셨는데 해당 책과 같이 읽거나 먼저 읽을 것을 추천한다

견고한 데이터 엔지니어링 : 큰 그림과 원칙을 다룸
데이터 엔지니어링 디자인 패턴 : 구체적인 패턴과 실천 방법을 다룸

이 책은 데이터 엔지니어링 경력을 이제 막 쌓기 시작했다면 정독을 추천한다

다만 데이터 에지니어링에 입문했거나 실무 경험이 전무하다면 다소 난이도가 높아서 좋은 교재가 아닐 수도 있으며, 최소 6개월 이상의 실무 경험이 있으면 좋고 최소한의 필수 지식들은 아래와 같다

추출-변환-적재(ETL), 추출-적재-변환(ELT), 데이터 웨어하우스, 데이터 수집, 데이터 오케스트레이션 등 엔지니어링 개념
관리형 서비스가 무엇인지 등 클라우드에 대한 기본적인 개념
자바, 스칼라, 파이썬, SQL 등을 통한 데이터 처리 로직 실무 경험. 이런 로직을 운영 환경에 배포한 경험이 있으면 더 좋음

내용

코드 예제들은 아래 깃허브를 참고

https://github.com/bartosz25/data-engineering-design-patterns-book

GitHub - bartosz25/data-engineering-design-patterns-book: Code snippets for Data Engineering Design Patterns book

Code snippets for Data Engineering Design Patterns book - GitHub - bartosz25/data-engineering-design-patterns-book: Code snippets for Data Engineering Design Patterns book

github.com

이 글은 공부 내용 정리가 아닌 책에 대한 소개, 리뷰글이므로 전체적인 내용과 디자인 패턴을 하나 살펴보고서 리뷰한 내용으로 작성하였다

1장. 데이터 엔지니어링 디자인 패턴 소개

우리는 일상 생활에서 수많은 패턴에 의존하고 있다

요리와 레시피를 예시로 들건데 이는 레시피가 문제 해결을 위해 미리 정의된 사용자 정의 템플릿으로 기능하는 디자인 패턴의 의미를 잘 표현하기 때문이다

디저트인 플랑을 만드는 과정을 예시로 들어보자면

미리 정의된 템플릿 : 재료와 준비 단계 목록. 지시 사항이 주어지지만 흰 설탕 대신 갈색 설탕을 사용할 수 있는 것처럼 사용자 정의가 가능
디자인 패턴의 컨텍스트화 : 플랑은 가족들과 같이 먹을 디저트, 또는 사업과 제품 판매를 위한 제품이 될 수도 있다. 디자인 패턴은 항상 특정 문제와 반응하는데 여기서는 이렇게 친구들과 디저트를 나누거나 사업 수익을 창출하는 방법이 문제에 해당한다. 어떤 문제인지 정의를 하는 것이다
패턴의 재사용성 : 플랑은 한 번만 만들수도 있고 여러 번 만들어볼 수도 있다. 매번 만들때마다 새로운 방법을 찾을 필요가 없는데 이전에 성공한 레시피를 그대로 사용하는 것이 재사용성이다
패턴의 결과물 : 플랑을 준비하고 먹으면서 생활과 건강에 미치는 영향을 고려해야 한다. 매일 플랑을 만들고 먹으면 운동하는 시간이 줄고 체중이 늘어나는 등 건강 문제가 발생할 수도 있는데 이렇게 어떤 패턴을 사용할 경우 거기에 뒤따르는 결과를 인지하고 있어야한다
시간 절약 : 레시피는 이미 많은 사람들에게 검증되었기 때문에 새로운 것을 찾기것보다 시간이 절약되고 공유하기에도 편리하다

위에서 요리와 레시피를 예를 들어 각 요소와 해당하는 부분들을 매칭시켜 설명했는데 이걸 데이터 엔지니어링에 적용해보면

지속적으로 실행되는 잡에서 반정형 데이터셋을 처리하거나 예외가 발생하여 잡을 중단시키는 유혀하지 않은 레코드를 처리, 잘못된 형식의 레코드로 잡이 멈추지 않게 방지하는 등의 문제를 해결하고자 한다. 특정 문제에 반응하여 문제를 정의하는 것, 컨텍스트화이다
처리 과정에서 생기는 문제를 해결하기 위해, 모범 사례를 적용할 수 있는데 이 경우 위험한 변환 부분을 try-catch 블록으로 감싸 잘못된 레코드를 포착하고 이것들을 다른 곳에 기록하여 분석할 수 있다. 이처럼 특정 사용 사례에 맞게 조정할 수 있는 규칙, 이것은 미리 정의된 템플릿이다
파이프라인의 중단 없이 오류가 있는 레코드를 처리하는 예제로 데드 레터링이라는 레시피, 패턴이 있다. 이 패턴을 추출-적재-변환(ELT) 파이프라인 작업에서 진행하면서 데이터 웨어하우스에서 직접 변환을 수행할 때 같은 로직을 적용할 수 있는데 이처럼 같은 문제를 다시 겪더라도 컨텍스트가 다를 수도 있다. 이렇게 컨텍스트, 문제 상황이 좀 다르더라도 적용될 수 있는 케이스나 조건이 문제 속에 존재한다면 패턴을 사용할 수 있는 것이 패턴의 재사용성이다
하지만 이런 패턴을 맹목적으로 따르지 말고 상황에 따라 적용하고서 나오는 결과를 인지하고 유연하게 더 필요한 작업들을 진행하는 것이 중요하다

이렇게 각 요소들을 조합하여 주어진 문제에 대한 해결책의 전체 그림을 나타낸 것이 데이터 엔지니어링 디자인 패턴이다

기존에도 소프트웨어 엔지니어링 측면의 디자인 패턴은 존재하였으나 이런 데이터 엔지니어링 측면까지 고려되어야 하기에 나오게 되었다

위의 레코드 관리의 실패에 대응하는 예시는 데이터 엔지니어링 디자인 패턴 중 하나의 예제이다

본 책에서 제시한 예제들은 데이터 수집부터 모니터링 및 알람, 최종 데이터 노출까지 일반적인 데이터 흐름을 따르며 다루는 디자인 패턴들은 목차와 같지만 한 눈에 볼 수 있도록 정리해보면 아래와 같다

2장 데이터 수집 디자인 패턴
3장 오류 관리 디자인 패턴
4장 멱등성 디자인 패턴
5장 데이터 가치 디자인 패턴
6장 데이터 흐름 디자인 패턴
7장 데이터 보안 디자인 패턴
8장 데이터 스토리지 디자인 패턴
9장 데이터 품질 디자인 패턴
10장 데이터 관찰 가능성 디자인 패턴

목차의 순서를 잘 보면 데이터의 흐름을 따라 발생할 수 있는 문제와 거기에 따른 디자인 패턴으로 구성되어 있음을 확인할 수 있다

먼저 데이터를 수집하는 것부터 시작해서 오류가 생기면 어떻게 대응할 것인지, 오류가 생기더라도 어떻게 동일한 상태를, 멱등성을 유지할 것인지, 이렇게 수집한 데이터를 구축하여 어떻게 가치를 창출하고 어디로 보낼 것인지 등등..

책에서는 특정 비즈니스 도메인을 국한하지 않았으나 이런 데이터 엔지니어링은 비즈니스와 직결되어 있으므로 각 패턴을 저자의 사례 연구 프로젝트인 블로그 데이터 분석 플랫폼의 컨텍스트를 사용하여 예시를 들었다

그림은 3계층으로 구성되어 있다

온라인 및 오프라인 데이터 수집 컴포넌트
실시간 계층
데이터 조직 계층

2장. 데이터 수집 디자인 패턴

데이터 엔지니어링의 시작은 데이터를 수집하는 것부터이다

추출-변환-적재(ETL), 추출-적재-변환(ELT) 등 데이터를 원하는 형태로 활용하기 위해선 추출하는 것부터 시작한다

데이터는 자체 서비스에서 수집되거나 다른 부서나 또는 외부 협력업체 등을 통해 다양한 데이터 프로듀서로부터 얻을 수 있다

해당 장에서는 외부 데이터 제공업체나 다른 파이프라인에서 가져온 데이터를 통합할 때 마주할 수 있는 시나리오와 도전적인 상황에서 사용할 수 있는 패턴을 다룬다

두 가지 일반적인 데이터 적재 시나리오로 시작하는데 데이터셋의 전체 또는 일부를 획득할 때 사용하는 전체 적재와 증분 적재이다

다음은 데이터 복제로 데이터 변환을 함께 해주거나 변환 없이 진행하는 패턴이 있는데 둘 다 데이터 프라이버시 문제 해결에 유익할 것이다

전체 적재

전체 적재 디자인 패턴은 매번 데이터셋 전체를 로드하는 데이터 수집 시나리오를 의미하며, DB 부트스트랩 또는 참조 데이터셋 생성 등 많은 상황에서 유용하다

패턴 01 : 전체 로더

문제

앞에서 예시로 든 사용 사례를 위해 실버 계층을 설정하고 있다
변환 잡 하나에 외부 데이터 제공업체의 장비에 대한 추가 정보가 필요한데, 해당 장비의 데이터셋은 일주일에 몇 번 변경될 뿐이고 전체 레코드는 백만 개를 넘지 않는 천천히 변화하는 엔티티다
데이터 제공 업체는 마지막 데이터 수집 이후로 변경된 레코드를 감지하는데 도움이 되는 속성을 정의하지 않는다

해결책

데이터셋에 마지막 갱신 값이 존재하지 않는 상황에서는 전체 로더 패턴이 이상적인 해결책이 될 수 있다
가장 간단한 구현은 추출과 적재 (EL) 라는 두 단계에 의존한다
이 단계들은 네이티브 데이터 스토어 명령어를 사용하여 데이터를 한 데이터베이스에서 내보내고 다른 데이터베이스로 가져온다
EL 접근 방식은 별도의 데이터 변환이 필요하지 않으므로 동종의 데이터 스토어에 이상적이다
EL 파이프라인을 사용하는 것은 항상 가능하지 않기에, 이종의 데이터베이스 간에 데이터를 적재해야 한다면, 추출 단계와 적재 단계 사이에 얇은 변환 계층을 사용하여 입력 형식을 출력 형식에 맞게 조정해야한다
그러면 파이프라인은 추출-변환-적재(ETL) 잡이 되며, 이 과정에서 다양한 데이터 스토어와 상호 작용하기 위한 네이티브 인터페이스를 제공하는 데이터 처리 프레임워크를 활용할 수 있다

결과

두 개의 데이터 스토어 사이에서 데이터셋을 이동하는 간단한 작업에도 불구하고 전체 로더 패턴에는 데이터 크기와 데이터 일관성이라는 몇 가지 어려움이 따른다

1장에서 책이 전개할 형태로 문제와 해결책, 예상되는 결과 및 예제 순으로 디자인 패턴들이 구성되어 있다

각 단계별 상세한 내용과 예시는 책을 통해 참고하면 좋을 것 같다

마무리

이렇게 데이터 엔지니어링 디자인 패턴이라는 책의 일부 내용에 대해 공유해보았다

앞에서 책 소개와 1장에서도 언급했듯이 해당 책은 데이터베이스와 엔지니어링에 대해 어느정도 실무 경험이나 기반 지식을 갖추고 있을 것을 가정하기에 관련된 내용으로 아직 공부를 해보지 못했던 나로썬 꽤 어려운 내용들이었다

하지만 데이터 엔지니어링에 이렇게 다양한 문제들과 해결 방법들이 있다는 것이 흥미로웠고 이런 방법들을 통해서 실무에서 문제를 직접 해결해본다면 이런 부분도 꽤나 재밌을 것으로 생각되었다

추천받은 관련된 책들부터 먼저 보고서 해당 책도 정독을 한번 해봐야겠다

'후기' 카테고리의 다른 글

[나는리뷰어다 2025] AI 엔지니어링 (0)	2025.10.19
[나는리뷰어다 2025] 핸즈온 생성형 AI (4)	2025.07.26
[나는리뷰어다 2025] 러닝 랭체인 (3)	2025.06.25
[나는리뷰어다 2025] LLM 서비스 설계와 최적화 (0)	2025.05.28
[나는리뷰어다 2025] 한 권으로 끝내는 만만한 자소서 (1)	2025.04.24

𝙴𝚅𝙴𝚁𝚈𝚃𝙷𝙸𝙽𝙶 𝙸𝚂 𝙽̶𝙾̶𝚃̶ 𝙾𝙺

[나는리뷰어다 2026] 데이터 엔지니어링 디자인 패턴

책 소개

목차