Flow-based Model là gì? 3 kiến trúc phổ biến của dòng chảy dữ liệu

Flow-based Model là một mô hình có khả năng học các phân phối dữ liệu phức tạp và tạo ra các mẫu thực tế rất hiệu quả. Trong bài viết này, chúng ta sẽ tìm hiểu về Flow-based Model là gì và khám phá các đặc điểm và lợi ích đặc biệt của chúng nha.

Giới Thiệu Về Flow-based Model

Flow-based Model Là Gì?

Flow-based Model hay mô hình sinh dữ liệu dựa trên dòng chảy là một lớp của các mô hình deep learning học cách biến đổi một phân phối xác suất đơn giản (ví dụ: Gaussian) thành một phân phối mục tiêu phức tạp (ví dụ: phân phối của các hình ảnh thực). Chúng đạt được điều này bằng cách sử dụng một loạt các biến đổi có thể đảo ngược, cho phép cả việc lấy mẫu hiệu quả và tính toán xác suất chính xác.

Ý tưởng chính của Flow-based Model là quan sát và học ánh xạ song ánh giữa không gian đầu vào và không gian tiềm ẩn, nơi không gian tiềm ẩn tuân theo một phân phối đơn giản. Bằng cách áp dụng nghịch đảo của ánh xạ này cho các mẫu từ phân phối tiềm ẩn, mô hình có thể tạo ra các mẫu dữ liệu mới giống với dữ liệu huấn luyện.

Dễ hiểu hơn thì nó giống như cách bạn sử dụng AI tạo ảnh như Midjourney, tải ảnh của bạn lên xong chuyển đổi ảnh đó thành người khác như Taylor Swift chẳng hạn, xong bạn bắt Midjourney chuyển ngược ảnh của Taylor Swift về thành gương mặt của bạn 🙂

Đặc Điểm Và Lợi Ích

Flow-based Model có một số đặc điểm độc đáo làm cho chúng khác biệt so với các mô hình sinh dữ liệu khác:

1. Tính toán xác suất chính xác: Flow-based Model cho phép tính toán chính xác xác suất của dữ liệu đầu vào, điều này hữu ích cho các nhiệm vụ như ước lượng mật độ và phát hiện dị thường.
2. Suy luận hiệu quả: Việc tạo ra các mẫu mới từ một Flow-based Model đã được huấn luyện rất hiệu quả, vì nó chỉ yêu cầu một lần truyền tiến qua mô hình.
3. Khả năng đảo ngược: Các biến đổi có thể đảo ngược được sử dụng trong Flow-based Model cho phép cả tính toán tiến (dữ liệu đến không gian tiềm ẩn) và nghịch đảo (không gian tiềm ẩn đến dữ liệu), cho phép lấy mẫu và tính toán xác suất hiệu quả.
4. Tính linh hoạt: Flow-based Model có thể được thiết kế để có không gian tiềm ẩn dễ hiểu hơn, cho phép kiểm soát tốt hơn đối với dữ liệu được tạo ra.

Về lý thuyết là vậy, nhưng các nhà phát triển thì họ sẽ sử dụng các mô hình generative như VAE và GAN nhiều hơn, dù Flow-based xịn nhưng vẫn chưa được chú ý phát triển lắm.

Cách Flow-based Model Hoạt Động

Giải Thích Cách Flow-based Model Hoạt Động

Giải thích đơn giản dễ hiểu ha, ví dụ hãy tưởng tượng bạn có một dòng nước chảy qua một loạt các ống và van. Mỗi ống và van này có thể thay đổi hình dạng và kích thước của dòng nước, nhưng quan trọng là chúng có thể đảo ngược được, nghĩa là bạn có thể điều chỉnh chúng để dòng nước trở lại trạng thái ban đầu.

Chuyển qua Flow-based Model, ta có: dòng nước đại diện cho dữ liệu, và các ống và van đại diện cho các biến đổi có thể đảo ngược mà mô hình áp dụng lên dữ liệu. Mục tiêu là biến đổi dòng nước từ một trạng thái đơn giản (như dòng nước chảy thẳng) thành một trạng thái phức tạp hơn (như dòng nước chảy qua nhiều khúc quanh co).

Ví Dụ Cách Flow-based Model Hoạt Động

1. Dòng Nước Ban Đầu: Hãy tưởng tượng bạn có một dòng nước chảy thẳng từ một bể chứa. Đây là tương đương với việc bắt đầu với một phân phối đơn giản như phân phối Gaussian trong không gian tiềm ẩn.
2. Áp Dụng Các Biến Đổi: Bạn bắt đầu cho dòng nước chảy qua một loạt các ống và van. Mỗi ống và van này thay đổi dòng nước một chút, làm cho nó uốn lượn và phức tạp hơn. Đây là tương đương với việc áp dụng các biến đổi có thể đảo ngược lên dữ liệu để biến đổi nó từ phân phối đơn giản thành phân phối phức tạp hơn.
3. Dòng Nước Phức Tạp: Sau khi dòng nước đã chảy qua tất cả các ống và van, nó trở nên phức tạp hơn nhiều so với lúc ban đầu. Đây là tương đương với việc dữ liệu đã được biến đổi thành một phân phối phức tạp hơn, giống như phân phối của các hình ảnh thực.
4. Đảo Ngược Quá Trình: Nếu bạn muốn đưa dòng nước trở lại trạng thái ban đầu, bạn chỉ cần điều chỉnh các ống và van theo hướng ngược lại. Điều này tương đương với việc áp dụng các biến đổi ngược lại để đưa dữ liệu từ không gian tiềm ẩn trở lại không gian đầu vào.

Tóm tắt lại một cách phức tạp thì:

• Dòng Nước Ban Đầu: Phân phối đơn giản (Gaussian).
• Ống và Van: Các biến đổi có thể đảo ngược (affine coupling layers, 1×1 convolutions, actnorm).
• Dòng Nước Phức Tạp: Phân phối phức tạp (phân phối của dữ liệu thực).
• Đảo Ngược Quá Trình: Áp dụng các biến đổi ngược lại để lấy mẫu dữ liệu mới hoặc tính toán xác suất.

Tóm lại thì khả năng biến đổi dữ liệu từ một trạng thái đơn giản thành một trạng thái phức tạp và ngược lại, giúp chúng ta tạo ra các mẫu dữ liệu mới hoặc tính toán xác suất một cách hiệu quả hơn rất nhiều so với nhiều mô hình khác.

Một Số Kiến Trúc Phổ Biến

NICE

NICE là viết tắt của Non-linear Independent Components Estimation một trong những Flow-based Model đầu tiên và xuất hiện vào năm 2014. Cơ bản thì nó sẽ học một biến đổi phi tuyến phức tạp của dữ liệu đầu vào thành một phân phối đơn giản hơn dễ dàng mô hình hóa, như phân phối Gaussian. Nó thực hiện điều này bằng cách sử dụng một loạt các ánh xạ có thể đảo ngược được kết hợp lại với nhau.

Một số đặc điểm chính của NICE bao gồm:

• Tính toán xác suất log chính xác: Không giống như một số mô hình sinh dữ liệu khác, NICE cho phép tính toán trực tiếp xác suất chính xác của một điểm dữ liệu. Điều này hữu ích cho những việc như ước lượng mật độ.
• Lấy mẫu hiệu quả: Mô hình được thiết kế để cho phép lấy mẫu các điểm dữ liệu mới một cách hiệu quả.

RealNVP

RealNVP là viết tắt của Real-valued Non-Volume Preserving transformations xây dựng trên các ý tưởng của NICE nhưng giới thiệu một số cải tiến:

• Tăng tính linh hoạt: RealNVP sử dụng các biến đổi linh hoạt hơn cho phép nó mô hình hóa các phân phối dữ liệu phức tạp hơn so với NICE.
• Tính toán nghịch đảo: RealNVP được thiết kế để cho phép tính toán hiệu quả ánh xạ nghịch đảo từ không gian tiềm ẩn trở lại không gian dữ liệu gốc.

Nếu bạn thích tìm hiểu thêm, ở đây có một bài blog viết rất là chi tiết dễ hiểu bạn có thể tìm hiểu á bằng tiếng Việt luôn á: RealNVP.

Glow: Cải Tiến Về Khả Năng Mở Rộng và Hiệu Quả

Một trong những model mới nhất và xịn nhất thì ta có Glow. Đây là một Flow-based Model đẩy mạnh giới hạn về khả năng mở rộng đến dữ liệu có độ phân giải cao như hình ảnh. Một số cải tiến quan trọng trong Glow như:

• Kiến trúc đa quy mô: Glow sử dụng một mô hình phân cấp xử lý đầu vào ở nhiều quy mô khác nhau. Điều này cho phép nắm bắt cả cấu trúc tổng thể và chi tiết.
• Phép biến đổi 1×1 có thể đảo ngược: Glow tích hợp một loại biến đổi mới dựa trên các phép biến đổi 1×1 có thể đảo ngược. Điều này tăng cường khả năng biểu diễn và hiệu quả.

Có mấy bài nghiên cứu khoa học về nó á, nhưng mình thấy nội dung của Glow do OpenAI viết dễ hiểu hơn và có ví dụ chi tiết hơn hiều.

Các Cải Tiến Trong Mỗi Kiến Trúc

Đặc biệt hơn các mô hình khác (hoặc do quá ít nên mình thấy khác), khi để ý thì bạn có thể thấy rõ sự phát triển của các mô hình Flow-based qua cả 3 ví dụ mình nói ở trên ấy:

• NICE: Giới thiệu ý tưởng cốt lõi về việc sử dụng các biến đổi có thể đảo ngược để ước lượng mật độ và lấy mẫu.
• RealNVP: Thêm các biến đổi linh hoạt hơn và tính toán nghịch đảo hiệu quả.
• Glow: Cho phép mở rộng đến dữ liệu có độ phân giải cao với kiến trúc đa quy mô và các phép biến đổi 1×1 có thể đảo ngược.

Ưu Điểm và Nhược Điểm của Flow-based Model

Ưu Điểm

• Tính Toán Xác Suất Log Chính Xác: Các mô hình dòng chảy cho phép tính toán chính xác xác suất log, rất hữu ích cho ước lượng mật độ, phát hiện dị thường, và các ứng dụng khác cần gán xác suất cho các điểm dữ liệu. 
• Suy Luận Hiệu Quả: Lấy mẫu từ một mô hình dòng chảy đã được huấn luyện rất nhanh và hiệu quả, đặc biệt so với các phương pháp như mô hình autoregressive phải tạo mẫu tuần tự.
• Tính Linh Hoạt và Khả Năng Mở Rộng: Các mô hình dòng chảy rất linh hoạt về các loại phân phối dữ liệu mà chúng có thể mô hình hóa. Kiến trúc như Glow đã cho thấy khả năng mở rộng đến dữ liệu có độ phân giải cao như hình ảnh.

Nhược Điểm

• Độ Ổn Định Huấn Luyện: Các mô hình dòng chảy đôi khi có thể khó huấn luyện và kém ổn định hơn so với GANs hoặc VAEs. Chúng nhạy cảm với lựa chọn kiến trúc và các siêu tham số.
• Sự Cân Bằng Giữa Khả Năng Biểu Diễn và Hiệu Quả Tính Toán: Thường có sự cân bằng giữa khả năng biểu diễn của mô hình (khả năng nắm bắt các phân phối phức tạp) và hiệu quả tính toán. Các dòng chảy phức tạp hơn yêu cầu chi phí tính toán lớn hơn và có thể khó mở rộng hơn.

Ứng Dụng của Flow-based Model

Tạo và Chỉnh Sửa Hình Ảnh

• Các mô hình dòng chảy như Glow và các biến thể của nó đã cho thấy kết quả ấn tượng trong việc tạo ra các hình ảnh chất lượng cao, thường vượt qua GANs về độ đa dạng và ổn định.
• Ví dụ: Blog của TensorFlow có một hướng dẫn khá thú vị về việc sử dụng Glow để tạo hình ảnh. 

Tổng Hợp m Thanh và Chuyển Đổi Giọng Nói

• Các mô hình dòng chảy đã được áp dụng thành công cho các tác vụ âm thanh như tổng hợp giọng nói, tạo nhạc, và chuyển đổi phong cách giọng nói. 
• Điều này có ứng dụng thực tế trong việc tạo ra âm thanh thực tế cho các trợ lý ảo, sách nói, và nội dung âm thanh cá nhân hóa.

Phát Hiện Dị Thường và Ước Lượng Mật Độ

• Khả năng ước lượng mật độ của các mô hình dòng chảy làm cho chúng phù hợp với việc phát hiện dị thường và các điểm ngoại lệ trong nhiều lĩnh vực.
• Ví dụ, các mô hình dòng chảy có thể được sử dụng để phát hiện các giao dịch gian lận trong tài chính hoặc hoạt động độc hại trong an ninh mạng bằng cách học phân phối của dữ liệu bình thường và đánh dấu các sai lệch.

Flow-based Model vs GAN, VAE, Autoregressive

Dù gì thì theo con mắt mình thấy nội dung ít quá thì viết cũng chán, nên chúng ta sẽ đi so sánh Flow-based Model với GAN, VAE và Autoregressive ha, tiêu chí thì mình sẽ lấy là điểm mạnh nhất của mô hình bị đem ra so sánh 🙂 hoặc không 🙂

Flow-based Model vs. GAN

Chất Lượng và Đa Dạng của Mẫu: Nói chung, GAN vượt trội trong việc tạo ra các mẫu chất lượng cao nhưng có thể gặp khó khăn với độ đa dạng và độ bao phủ của mẫu. Flow-based Model đã cho thấy chất lượng mẫu tương đương hoặc thậm chí tốt hơn trong khi duy trì độ đa dạng.

Flow-based Model vs. VAE

Độ Ổn Định Huấn Luyện và Tốc Độ Suy Luận: VAEs thường ổn định hơn và dễ huấn luyện hơn so với các Flow-based Model. Tuy nhiên, các Flow-based Model có lợi thế về tốc độ suy luận nhanh và hiệu quả.

Flow-based Model vs. Mô Hình Autoregressive

Tính Linh Hoạt và Tốc Độ Lấy Mẫu: Các mô hình autoregressive như PixelCNN rất linh hoạt trong việc mô hình hóa các phân phối phức tạp nhưng gặp khó khăn với tốc độ lấy mẫu chậm. Các Flow-based Model đạt được sự cân bằng tốt hơn giữa tính linh hoạt và hiệu quả lấy.

Túm lại

Flow-based Model có rất nhiều ưu điểm và vượt trội hơn các mô hình khác. Tuy nhiên, vì nhiều lý do khác nhau nên người ta vẫn chưa chú ý nhiều đến nó khi so sánh với các mô hình Generative còn lại.

Nhưng chắc trong tương lai sẽ có bạn, người đang đọc bài viết này khám phá ra thì sao <3 Bạn biết vì sao hông? Tại mình tìm thấy rất rất ít bài viết bằng tiếng Việt về Flow-based Model á.

Nếu bạn thấy có bất kỳ sai sót nào trong nội dung hoặc bạn xịn hơn mình, bạn có thể góp ý bên dưới để mình điều chỉnh lại bài viết cho phù hợp hơn nha. Cảm ơn bạn đã đọc bài viết.

Câu Hỏi Thường Gặp về Flow-based Model