1. 원하는 기능을 제공하지 않거나, 정상적으로 동작하지 않을 때
- 지금 당장 필요한 기능이 안되거나 수정이 필요한 경우가 많았어요. 회사 VCS 에 올려 따로 관리해도 상관없었어요. 하지만 나와 같은 사람들이 전 세계(?)에 한 명 쯤은 있지 않을까 ? 라는 생각에 기여했어요.
- 예시.
2. 잘 짜여진 구조/코드베이스의 프로젝트를 접할 기회가 적음
- Airflow 경우만 보더라도 코드 라인수가 굉장히 많습니다. 이들이 어떻게 동작하는지 코드베이스로 확인할 수 있는 회사 코드는 드물어요. (
물론 내가 거쳐온 조직이 관리한 코드가 작을 수 있죠) - 자연스럽게 많은 양의 코드를 살펴보면 넓은 시야를 가질 수 있다고 믿어요. 물론 이로인해 불필요한 설계를 할 가능성이 높지만, 나에게 있어선 많은 코드를 보고 이해하는 것이 내 성장에 굉장히 큰 도움을 주었어요.
3. 도움 받은 만큼 나도 돕고 싶은 마음
- 가장 큰 이유에요.
- 데이터 엔지니어라면 누구나 쓰는 Airflow, 이를 만든 사람들이 있었기에 내 일을 하는데 정말 많은 도움을 주었어요.
도움만 받지 말고 나도 누군가에게 도움을 줄 수 있지 않을까?라는 마음에서 시작했어요. - 나도 누군가에게 도움을 줄 수 있다고 생각했어요. 프로젝트를 이끄는 컨트리뷰터/커미터/PMC 에게 "잘 운영해주셔 감사해요" 라는 말대신 코드로 이야기하고 싶었어요.
Summary
- apache/airflow
- Honor verbose logging for Celery worker
- Fix Go Edge worker heartbeat cancellation handling
- Typo readme in breeze (uv command)
- Support for client-side certificates using task-sdk
- Add warning in changelog: use OdbcHook for ODBC drivers instead of MsSqlHook
- airflowctl: transition of bulk operations to return BulkResponse
- airflowctl: convert to
BulkResponsein variables.import - feat (airflowctl): transition of Variable Command
- feat (airflowctl): add dag operations to conform all API endpoints
- Fix image url in IDE onboarding doc (about task sdk)
- Add a note
airflow userscommand is available when FAB auth-manager is enabled - Allow specifying repo_url in GitDagBundle kwargs
- Enable to add inline ssh key in GitHook
- Forbid extra fields on execution api
- Fix GitDagBundle to support https (include 46073/46179)
- Fix GitDagBundle to support https
- Fix ContinuousTimetable false triggering when last run ends in future
- Set container name to envSourceContainerName in KEDA ScaledObject
- Support connection extra parameters in MsSqlHook
- Support multiple executors in chart
- Bump to mypy-boto3-appflow and pass without # type: ignore[arg-type]
- Add parent_model param in UploadModelOperator
- Typo docstring eks trigger in aws provider
- enable AIRFLOW__CELERY__BROKER_URL_CMD when passwordSecretName is true
- Add Coinone to the list of companies
- Add CloudRunServiceHook and operator
- apache/iceberg-python
- apache/iceberg-go
- fix(glue): return ErrNamespaceAlreadyExists for duplicate namespaces
- fix(glue): report destination table on rename create failure
- fix(cli): validate refs type before loading table
- fix(cli): accept case-insentive catalog types in cli
- fix(cli): use standard property keys when creating a namespace
- fix(cli): report correct entity type for missing property
- test(table): use SerializeDV for scanner DV fixture
- fix(cli): report successful drop operation in cli
- apache/datafusion:
- delta-io/delta-rs
- fix: match optimize file selection ids for partition values containing "~"
- fix(catalog-unity): tolerate unknown enum values in table responses
- fix(catalog-unity): accept null expiration_time in temporary credentials
- fix: apply the scale when formatting decimal literals in fmt_expr_to_sql
- fix(python, rust): clean warn message during
make check - fix(python): resolve nested null types against matching field
- fix(python): escape string literals in update new_values
- fix(python): fix copy_file keyword args
- fix(python): allow None writer properties in write overloads
- fix(python): align gzip compression levels with parquet
- fix(python): reject NaN bloom filter probabilities
- feat(python): expose Delta table property constants
- fix(python): honor encoding in default column properties
- feat(python): accept Path and PathLike in DeltaTable.is_deltatable
- fix(python): treat naive load_as_version datetime as UTC
- docs: replace from_arrow in docstring
- python/cpython: gh-151950: Fix unresolved AST references in ast.rst
- apache/flink-cdc: [FLINK-40274][cdc-cli] Remove unsupported kubernetes-session from target option help message
- professional-services-data-validator:
- astronomer-cosmos:
- Use boto3 for Kubernetes dbt docs S3 uploads
- Update docs for DbtDocsS3KubernetesOperator
- docs: correct example YAML key from operator_args to operator_kwargs
- Improve MWAA getting-started docs by removing unused imports
- refactor: remove duplicated _construct_dest_file_path
- feat(operators): support dbt docs on Kubernetes via DbtDocsS3KubernetesOperator
- dag-factory
- dbt
- kafka-connect-bigquery: Support n:1 to topic2TableMap (topic:table)
- kafka-connect-transform-tojsonstring: Support to transtorm record without schema (schemaless json format)
- meltano
- datahub
- great-expectations: [DOCS] edit term(data_conext, checkpoints)-link in with airflow
- mageai
- PyAirbyte: Chore: Remove import only used in TYPE_CHECKING
- amazon-mwaa-docker-images: Remove unused import package in generate-dockerfiles/unit tests