Trong bài viết này, chúng ta sẽ khám phá cách các công ty đang chuyển đổi từ ETL sang ELT và tại sao "shift-left" đang trở thành xu hướng quan trọng trong kiến trúc dữ liệu hiện đại. Từ việc tối ưu hóa quy trình xử lý dữ liệu đến giảm thiểu chi phí và độ trễ, shift-left giúp đảm bảo dữ liệu chất lượng cao ngay từ nguồn, sẵn sàng cho phân tích và ra quyết định theo thời gian thực.

## 1. Từ ETL tới ELT
**ETL (Extract, Transform, Load)** là một quy trình xử lý dữ liệu phổ biến dùng để di chuyển dữ liệu từ các nguồn khác nhau vào một kho dữ liệu hoặc cơ sở dữ liệu đích, nơi dữ liệu có thể được phân tích và sử dụng hiệu quả. Quy trình này gồm ba bước chính:
* **Extract (Trích xuất):** Thu thập dữ liệu từ các nguồn khác nhau, bất kể định dạng, để chuẩn bị cho bước xử lý tiếp theo.
* **Transform (Chuyển đổi):** Làm sạch và chuẩn hóa dữ liệu, áp dụng các quy tắc nghiệp vụ để đảm bảo tính nhất quán và phù hợp với yêu cầu phân tích.
* **Load (Tải):** Lưu trữ dữ liệu đã xử lý vào kho đích, sẵn sàng cho phân tích và sử dụng.
 ![Screenshot 2024-11-11 at 10.30.13.jpg](https://fsds-content.s3.ap-southeast-1.amazonaws.com/uploads/90b10c2042e08984c2ff51266fd476631be28057a20afe16fdbc871a78245a2d.jpg)


**Vấn đề với ETL:**
* **Tốn Thời Gian và Tài Nguyên:** Quá trình chuyển đổi dữ liệu (Transform) trong ETL diễn ra trước khi tải vào kho dữ liệu, yêu cầu tài nguyên tính toán lớn ở giai đoạn trung gian và kéo dài thời gian xử lý. Điều này có thể gây ra chậm trễ trong việc làm sạch và phân tích dữ liệu, đặc biệt khi khối lượng dữ liệu lớn.
* **Khó Mở Rộng và Linh Hoạt:** ETL truyền thống không dễ mở rộng khi dữ liệu tăng nhanh, vì các công đoạn trích xuất, chuyển đổi và tải thường mất nhiều thời gian và tài nguyên khi dữ liệu lớn dần. Hơn nữa, quá trình chuyển đổi trước khi tải làm hạn chế tính linh hoạt, đặc biệt khi yêu cầu phân tích thay đổi thường xuyên.
* **Độ Phức Tạp Cao:** Các quy trình ETL đòi hỏi xây dựng và duy trì pipeline phức tạp, dễ gặp lỗi và khó bảo trì, vì mọi công đoạn xử lý dữ liệu cần thực hiện đúng theo trình tự từ trích xuất, chuyển đổi đến tải.
* **Không Tận Dụng Được Sức Mạnh Tính Toán Đám Mây:** Các kho dữ liệu đám mây hiện đại cung cấp khả năng xử lý lớn và dễ mở rộng, nhưng ETL truyền thống không thể tận dụng điều này tốt vì chuyển đổi dữ liệu xảy ra trước khi tải vào kho đích.
![Screenshot 2024-11-11 at 10.30.16.jpg](https://fsds-content.s3.ap-southeast-1.amazonaws.com/uploads/e8b70f159d7ff85e478b2140bda6a7f67a366426be09e143e25a11003c4fad28.jpg)

**Sự Ra Đời của ELT:**

* Để giải quyết các nhược điểm của ETL, phương pháp ELT (Extract, Load, Transform) đã ra đời. ELT đảo ngược thứ tự, trong đó dữ liệu được trích xuất và tải trực tiếp vào kho dữ liệu trước, sau đó mới thực hiện các bước chuyển đổi trong kho đích. Điều này tận dụng được khả năng xử lý mạnh mẽ của các kho dữ liệu đám mây hiện đại (như BigQuery, Snowflake hoặc Redshift), giúp quy trình chuyển đổi dữ liệu nhanh chóng và hiệu quả hơn.

* Với ELT, dữ liệu thô có thể được tải ngay vào hệ thống, cho phép linh hoạt trong việc chuyển đổi và xử lý sau này theo nhu cầu phân tích. ELT không chỉ giảm chi phí và tối ưu thời gian, mà còn giúp mở rộng quy mô dễ dàng hơn khi khối lượng dữ liệu tăng lên, phù hợp cho các ứng dụng hiện đại đòi hỏi xử lý dữ liệu lớn và phức tạp.


**Nhưng...**

## 2. ELT quá dễ dàng cũng đem đến nhiều hệ luỵ

Khi dữ liệu không ngừng tăng trưởng về khối lượng (Volume), tốc độ (Velocity) và sự đa dạng (Variety), các công ty ngày càng hướng đến quy trình ELT, đưa dữ liệu lên đám mây và xử lý ngay trên đó một cách thuận tiện. Tuy nhiên, nếu quy trình này diễn ra quá nhanh mà thiếu kiểm soát chặt chẽ, dễ dẫn đến tình trạng "data swamp" – những khối dữ liệu khổng lồ, thiếu tổ chức và ít giá trị thực tế. Điều này khiến chi phí bỏ ra tăng lên nhưng không tương xứng với giá trị thu được.

Một vấn đề nghiêm trọng hơn là khi dữ liệu được tải vào các hệ thống lưu trữ, nhu cầu sử dụng từ nhiều bên khác nhau có thể dẫn đến việc lặp lại các quy trình làm sạch hoặc chuyển đổi dữ liệu. Ngoài ra, quy trình "reverse ETL" đẩy dữ liệu ngược trở lại các hệ thống vận hành khiến hệ thống dữ liệu trở nên phức tạp hơn, khó bảo trì và làm tăng độ trễ khi sử dụng dữ liệu.

![Screenshot 2024-11-10 at 21.44.59.jpg](https://fsds-content.s3.ap-southeast-1.amazonaws.com/uploads/4f21ff5e5f16fb9f9f6fea86a80a82c2b0244e810f664ea81a54eee83d7cf440.jpg)

## 3. Đã đến lúc phải "shift-left"
Kiến trúc "shift-left" được thiết kế để giải quyết các thách thức của ELT bằng cách đẩy việc xử lý và quản trị dữ liệu về gần hơn với các hệ thống nguồn. Điều này cho phép tổ chức xử lý dữ liệu chính xác ngay từ đầu, chỉ thực hiện một lần, và dễ dàng tái sử dụng cho các hệ thống phía sau (downstream systems).

Vậy làm thế nào để xử lý dữ liệu ngay khi vừa được tạo ra? Câu trả lời là **stream processing**, với quy trình hoạt động như sau:
1. Kết nối trực tiếp vào luồng dữ liệu (stream).
2. Sử dụng thoả thuận dữ liệu (data contract) để làm sạch và đảm bảo chất lượng dữ liệu ngay từ nguồn.
3. Kỹ sư dữ liệu viết code xử lý luồng dữ liệu này để sẵn sàng cho các hệ thống phía sau sử dụng.

**Note:** Thỏa thuận dữ liệu là cam kết giữa hệ thống sản xuất dữ liệu (data producers) và hệ thống sử dụng dữ liệu (data consumers), nhằm quy định cấu trúc và tiêu chuẩn chất lượng dữ liệu. Thỏa thuận này bao gồm các yếu tố như cấu trúc dữ liệu (schema), metadata (thông tin bổ sung về dữ liệu), các quy tắc (như mã hóa dữ liệu), và quản lý phiên bản (versioning) để hạn chế ảnh hưởng tới các hệ thống phía sau.

![Screenshot 2024-11-11 at 10.56.19.jpg](https://fsds-content.s3.ap-southeast-1.amazonaws.com/uploads/ac2578516f73f106f6fb881b7a1c29ca3b1363e44d2abe7f8939c33b4bbc54bd.jpg)

Ngoài việc giảm thiểu độ trễ và chi phí xử lý dữ liệu lặp lại, "shift-left" còn giúp đảm bảo dữ liệu luôn cập nhật, đáng tin cậy và giảm thiểu chi phí lưu trữ trên các kho dữ liệu đám mây hoặc các hệ thống lưu trữ khác.

## 4. Netflix cũng dùng "shift-left"
Kiến trúc "shift-left" đang ngày càng được áp dụng rộng rãi tại các công ty lớn, nổi bật là Netflix. Với hơn 450 triệu sự kiện phát sinh mỗi ngày từ hơn 100 triệu người dùng tại 190 quốc gia, Netflix đã áp dụng "shift-left" để tối ưu hóa quy trình xử lý dữ liệu. Thay vì chạy các batch job kéo dài đến 8 tiếng, giờ đây Netflix có thể cung cấp các gợi ý ngay lập tức, dựa trên hoạt động của người dùng trong thời gian thực.

## 5. Kết Luận
Kiến trúc "shift-left" đang trở thành một giải pháp chiến lược trong việc quản lý dữ liệu hiện đại, giúp các tổ chức xử lý dữ liệu một cách nhanh chóng, chính xác và hiệu quả ngay từ các bước đầu tiên của quy trình. Bằng cách đưa việc quản trị và xử lý dữ liệu đến gần nguồn hơn, "shift-left" không chỉ giảm thiểu chi phí và độ trễ mà còn đảm bảo dữ liệu chất lượng cao, sẵn sàng cho các ứng dụng phân tích và ra quyết định. 

Trong bối cảnh dữ liệu ngày càng phong phú và đa dạng, việc áp dụng kiến trúc "shift-left" là một bước đi quan trọng, giúp doanh nghiệp duy trì lợi thế cạnh tranh, tối ưu hóa tài nguyên và đáp ứng kịp thời nhu cầu sử dụng dữ liệu theo thời gian thực.

Nếu bạn muốn tìm hiểu thêm về các kiến trúc dữ liệu khác, cách triển khai và tối ưu hóa hệ thống dữ liệu thực tiễn ở quy mô lớn, đừng quên [đăng ký khóa học MLOps và Data Engineer của FSDS](https://share.hsforms.com/1vVe0QchlTuC7V2N8Etrc_Ashfx0) nhé!

## 6. Tài liệu tham khảo
* [Shifting Left: Discover What's Possible When You Process Data Closer to the Source](https://www.quix.io/blog/shifting-left-discover-whats-possible-when-you-process-data-closer-to-the-source)
* [The Shift Left Architecture – From Batch and Lakehouse to Real-Time Data Products with Data Streaming](https://www.kai-waehner.de/blog/2024/06/15/the-shift-left-architecture-from-batch-and-lakehouse-to-real-time-data-products-with-data-streaming/)
* [What is Shift Left?](https://www.confluent.io/learn/what-is-shift-left/)
* [Apache Kafka + Flink + Snowflake: Cost Efficient Analytics and Data Governance](https://www.kai-waehner.de/blog/2024/04/26/apache-kafka-flink-snowflake-cost-efficient-analytics-and-data-governance/)
* [Data Contracts for Schema Registry on Confluent Platform](https://docs.confluent.io/platform/current/schema-registry/fundamentals/data-contracts.html)
<div>

Tìm hiểu về Shift-Left Data Architecture – giải pháp giúp tối ưu chi phí và nâng cao chất lượng dữ liệu bằng cách đẩy các quy trình quản lý và kiểm tra dữ liệu về gần hệ thống nguồn.

FSDS Blog