GIZA Digital Services

20/03/2023

"Data engineering continues to be in high-demand.

We are almost 3 months into 2023 and I have had many discussions about breaking into data engineering.

Yes, there are plenty of technical skills you'll need to learn like:

- Programming (Python, Scala, Java)
- SQL
- Data Warehousing and Data Pipelines
- Transactional DBs like MySQL, MongoDB and Postgres
- Cloud
- Snowflake, Bigquery, Databricks, etc
- A little bit of Docker and Kubernetes
- Spark And Flink
- Also basics like cmd line, SFTP, etc

And over time...so much more.

But I think that's the key thing to understand. No one learns this overnight. We slowly learn about and expand our skills on all of these topics over time.

More importantly, many people don't start as data engineers but instead move laterally into the role."

- Seattle Data Guy

How do you become a data engineer in 2023?There are a lot of paths to becoming a data engineer, and a lot of skills required. In this video we will discuss t...

14/08/2022

dbt - Data Build Tool là một tool open-source ứng dụng ở khâu transform data cho Data Warehouse, dbt giúp cho Data Engineer và Analytics Engineer làm việc hiệu quả với data model của mình.

dbt tích hợp tốt với các nền tảng và hệ quản trị cơ sở dữ liệu phổ biến có thể kể đến như Postgres, Redshift, BigQuery, Snowflake, Apache Spark,...

Với cộng đồng support mạnh mẽ, mã nguồn mở, cùng khả năng tùy biến (customize) và tích hợp cao với các open-source tools phổ biến khác (vd: Airflow), dbt dần được các data team ở các công ty ứng dụng hiệu quả, giải quyết được các bài toán trong vận hành và tự động hóa data pipeline của mình.

Tham khảo các source để rõ hơn về vị trí của dbt trên data pipeline, reference sources:
- dbt docs: https://docs.getdbt.com/docs/introduction
- source: https://data.solita.fi/positioning-data-build-tool-dbt-in-the-data-tooling-landscape/

Where can you position dbt in the data tooling landscape? What does it actually do, what it sort-of does, and what it doesn’t do?

17/07/2022

GIZA is about to launch out in August 2022