개발자가 되는 방법

개발 공부를 하다보면 익숙하지 않은 의미의 단어가 많습니다. 일단 영어니까요 ?

프로젝트를 스캐폴드 한다는 것은 무슨 뜻일까요? 대략 맥락 상으로는 개발 프로젝트를 처음 시작할 때 뼈대가 되는 구조를 깔아둔다는 의미로 보이긴합니다. 이것을 왜 'scaffold the project' 로 표현하는지 알아보겠습니다.

'scaffold'의 사전적 의미는 다음과 같습니다.

1. 교수대 처형대

2. (건축 공사장의) 비계

시작하지도 않은 프로젝트를 2번의 의미 (건축 공사장의 비계)로 사용되고 있을 가능성이 높아보입니다.

비계? 또 어려운 단어가 나왔군요. 한국어가 막힐 경우가 많습니다. '비계'란 무엇일까요?

'비계'의 사전적 의미는 다음과 같습니다.

1. 짐승, 특히 돼지의 가죽 안쪽에 두껍게 붙은 허연 기름조각.

2. 근본적인 대책 없이 임시변통으로 세운 계략.

3. (건설) 높은 곳에서 공사를 할 수 있도록 임시로 설치한 가설물.

이 중 scaffold의 2번 의미와 통하는 것은 3번 (높은 곳에서 공사를 할 수 있도록 임시로 설치한 가설물) 입니다.

이해를 돕기 위한 사진과 나무위키를 첨부해 보겠습니다.

건물을 공사할 수 있도록 주변에 세워 둔 정글짐 같은 형태의 쇠파이프 집합이 보이시나요?

이것이 바로 비계(건축)입니다.

여기까지 알아보고나니 'scaffold the project'가 무슨 의미인지 제대로 와닿네요.

아주 유익한 시간이었습니다.

그럼 다음에 또 궁금한 점이 생기면 포스트를 등록하겠습니다.

좋은 하루 되세요. ^^

컨트롤 자원의 기능

함수 기반 뷰(FBV)와 데코레이터(Decorator): 간결성과 빠른 구현

• 함수 기반 뷰는 보통 간결하고 직관적이다.
• 뷰 함수 하나가 하나의 URL 패턴에 대응되므로 코드의 구조가 단순하다.
• 빠르게 작성하고 프로토타입을 구축하는 데 유용하다.
• 함수 기반 뷰와 데코레이터를 사용하면 빠르게 뷰를 구현하고 프로토타입을 만들 수 있다.
• 데코레이터를 사용하여 특정 기능을 필요한 뷰 함수에 추가하거나 제거할 수 있다.
• Django에서 내장된 데코레이터들이 많이 제공되므로 사용하기 편리하다.
• 함수 호출에 대한 오버헤드*가 클래스 기반 뷰보다 작다.
• 데코레이터로 처리할 수 없는 복잡한 로직을 다루기에는 한계가 있다.

클래스 기반 뷰(CBV)와 믹스인(Mixin): 높은 확장성과 재사용성

• 클래스 기반 뷰(CBV)는 객체 지향적인 접근 방식을 제공하며, 비즈니스 로직을 클래스 메서드로 구현할 수 있다. 뷰 로직을 클래스로 구조화하여 관리하기 쉽고, HTTP 메서드에 따라 뷰 로직을 분리하고 관리할 수 있다.
• 클래스 기반 뷰와 믹스인은 코드 재사용을 더 쉽게 할 수 있다. CBV에 믹스인을 사용하면, 공통 기능을 믹스인 클래스로 정의하고 여러 뷰 클래스에서 상속받아 사용할 수 있으므로 다양한 뷰에서 동일한 기능을 공유할 수 있다.
• CBV와 믹스인을 함께 사용하면 코드 재사용이 용이하고 유지보수가 편리합니다. 믹스인을 필요한 뷰에 쉽게 추가할 수 있습니다.
• 클래스 기반 뷰는 복잡한 애플리케이션에서 높은 확장성과 구조를 제공하며, CBV 상속 구조를 통해 코드를 구조화할 수 있습니다.
• 클래스 기반 뷰와 믹스인은 함수 기반 뷰와 데코레이터로 처리하기 어려운 복잡한 로직을 처리해야할 경우에 유용하다.
• 클래스 기반 뷰와 믹스인을 사용하기 위해서는 일정한 학습 곡선이 필요할 수 있다. 클래스 기반 뷰는 함수 기반 뷰 보다 더 복잡하게 느껴질 수 있으며, 믹스인의 오버라이드와 순서를 관리해야하ㄴ다.

트레이드 오프

 프로젝트의 특성과 요구사항에 따라, 작은 프로젝트나 간단한 페이지를 개발할 때는 함수 기반 뷰와 데코레이터가 간편하게 사용될 수 있고  큰 규모의 프로젝트나 고도의 재사용성이 필요한 경우 클래스 기반 뷰와 믹스인을 활용하는 것이 더 효율적일 수 있다.

* "오버헤드(Overhead)"는 어떤 작업을 수행하기 위해 필요한 추가적인 자원 또는 처리 과정을 말한다. 일반적으로 원래 목표를 달성하기 위한 불필요한 부가적인 작업이나 자원 소모를 나타낸다.

 코드 실행 과정에서 함수를 호출하고 반환하는 과정에 따른 추가적인 작업과 시간, 함수 호출은 프로그램의 제어 흐름을 변경하고 스택 메모리를 사용하여 함수의 실행을 관리하기 때문에 성능 손실이 발생할 수 있으다. 함수 호출 오버헤드에는 함수 호출 시 현재 상태를 저장하고 반환하는데 필요한 스택 메모리 관리, 매개변수 전달 과정에서 데이터 복사 작업, 함수 내부의 로컬 변수 생성 및 해제, 프로그램 제어 흐름 변경을 위한 점프 및 반환 명령 실행, 함수 내부로 진입하고 함수에서 빠져나오는 과정을 포함한다.

 함수 호출 오버헤드는 대부분의 경우 무시할 만큼 작다. 그러나 프로그램이 반복적으로 함수를 호출할 경우 또는 함수 호출이 빈번하게 발생하는 경우 유의미한 오버헤드가 발생할 수 있다. 대부분의 경우 성능에 미치는 영향은 매우 작기 때문에 최적화나 코드 구조 변경 보다는 함수 호출을 통환 코드의 모듈화와 가독성 향상이 더 이득이다. 성능에 문제가 될 경우에는 더 복잡한 최적화 전략을 고려해야 한다.

다음의 영상을 제가 필요한 내용 위주로 요약한 글입니다.
What is Data Pipeline | How to design Data Pipeline ? - ETL vs Data pipeline (2023)

• ETL : extract, transform, load 데이터의 추출, 가공, 적재

기본작동 방식 과 아키텍처

What is Data Pipeline

Data pipeline automates data supply(including data processing) to data consumers

  (point A)		(point C, D , E, ... )		(point B)
Data Producers			Data Pipeline		Data Comsumers

Data Consumers' needs

• Data Science
• Machine Learning
• Business Analytics
• Reporting

Diff between traditional ETL and Data Pipeline

Data pipeline 이 더 넓은 개념이며, ETL은 Data pipeline mechanism 세부 개념이다.

2 types of data pipeline

1. Real Time Data Pipeline
2. Batch Data Pipeline
3. Lambda Architecture (Real Time + Batch)

Lambda Architecture

Data Pipeline Architecture Example