Autoregressive Model là gì? Mô hình dự đoán tương lai

Bạn biết tại sao AI lại hiểu được ý của bạn muốn là gì và nó trả lời một cách tương đối chính xác hay không, đó chính là nhờ Autoregressive Model. Vậy Autoregressive Model là gì mà lại có khả năng dự đoán trước ý định của bạn và cả thời tiết ngày mai?

Trong bài viết này, chúng ta sẽ tiếp tục chuỗi bài tìm hiểu về các Generative Model he.

Giới thiệu về Autoregressive Model

Autoregressive Model là gì?

Autoregressive Model hay Mô hình tự hồi quy là một loại mô hình thống kê sử dụng các giá trị quá khứ của một biến để dự đoán các giá trị tương lai của nó.

Hmmm, giờ hãy tưởng tượng bạn đang nói chuyện với một người bạn của bạn và bạn đang cố đoán xem bạn của bạn sẽ nói gì tiếp theo dựa trên những gì nó đã nói. Bùm! Đó là cách mà Autoregressive Model hoạt động, nhưng với dữ liệu!

Autoregressive Model là một loại AI có thể dự đoán các giá trị tương lai dựa trên các giá trị quá khứ. Nó thực sự quan trọng trong thế giới của Generative AI, nơi mà tất cả về việc tạo ra nội dung mới như văn bản, hình ảnh hoặc âm nhạc.

Để nói về sự bắt đầu của Autoregressive Model thì chúng ta phải quay về đầu thế kỷ 20. Ban đầu, các nhà toán học và thống kê thiết kế nó để phân tích dữ liệu chuỗi thời gian, chẳng hạn như các chỉ số kinh tế hoặc các mẫu thời tiết. Theo thời gian, các mô hình này đã được tinh chỉnh cho phù hợp nhiều ứng dụng khác nhau, như: xử lý tín hiệu, hệ thống điều khiển và machine learning.

Cách Autoregressive Model Hoạt Động

Nền tảng Toán Học

Cốt lõi của Autoregressive Model là phương trình autoregressive. Ở dạng đơn giản nhất dễ hiểu nhất với bộ não có giới hạn của mình thì phương trình của nó trông như thế này:

X(t) = c + ϕ₁ × X(t-1) + ε(t)

Trong đó:

• X(t) đại diện cho giá trị của biến tại thời điểm t
• c là một hằng số
• ϕ₁ là hệ số autoregressive
• X(t-1) là giá trị của biến tại thời điểm trước đó (t-1)
• ε(t) là một thuật ngữ lỗi đại diện cho nhiễu ngẫu nhiên hoặc biến động không giải thích được

Bạn hiểu lắm không? Nếu không, chúng ta sẽ chuyển nó thành ví dụ dự báo thời tiết đi ha, nếu bạn ở Sài Gòn thì cứ mặc định tầm đầu giờ chiều với giờ tan tầm là mưa ầm ầm, còn trong ví dụ này thì Autoregressive Model hoạt động như sau:

Bước 1: Xác định các biến

• X(t) là nhiệt độ ngày mai
• X(t-1) là nhiệt độ hôm nay

Bước 2: Ước lượng các hệ số

• c là nhiệt độ trung bình khi nhiệt độ hôm nay bằng không (thường không có ý nghĩa trong ngữ cảnh này)
• ϕ₁ đại diện cho mức độ mà nhiệt độ ngày mai phụ thuộc vào nhiệt độ hôm nay

Bước 3: Thực hiện dự đoán

• Ném nhiệt độ hôm nay và các hệ số ước lượng vào phương trình
• Kết quả là dự đoán của chúng ta cho nhiệt độ ngày mai.

Những thành phần chính

Khi tìm hiểu về Autoregressive Model, ta sẽ phải hiểu thêm về 3 thành phần chính của nó gồm: Lags, Coefficients và Stationarity.

Lags

Lags là số nhiều của Lag là phản hồi siêu siêu chậm và khiến điện thoại máy tính của bạn chậm và nhảy khung hình dữ dội khi máy lẫn mạng yếu.

À tui giỡn đó 🙂

Trong Autoregressive Model, lags – độ trễ đề cập đến số bước thời gian quá khứ được sử dụng để dự đoán giá trị hiện tại.

Trong ví dụ dự báo thời tiết ở trên, chúng ta đã sử dụng một lag (nhiệt độ hôm qua) để dự đoán nhiệt độ hôm nay. Các mô hình có thể kết hợp nhiều lags để nắm bắt các mẫu phức tạp hơn.

Coefficients

Coefficients – Các hệ số autoregressive (như ϕ₁ trong ví dụ) đại diện cho độ mạnh và hướng của mối quan hệ giữa giá trị hiện tại và các giá trị quá khứ.

Một hệ số dương có nghĩa là sự gia tăng trong giá trị quá khứ dẫn đến sự gia tăng trong giá trị hiện tại, trong khi một hệ số âm có nghĩa là sự gia tăng trong giá trị quá khứ dẫn đến sự giảm trong giá trị hiện tại.

Stationarity

Tính cố định – Stationarity là một khái niệm quan trọng trong phân tích chuỗi thời gian. Một chuỗi thời gian stationary có các thuộc tính thống kê (như trung bình và phương sai) không thay đổi theo thời gian.

Autoregressive Model giả định rằng chuỗi thời gian là stationary, nghĩa là mối quan hệ giữa các giá trị hiện tại và quá khứ vẫn không đổi. Nếu chuỗi thời gian không stationary, nó có thể cần được biến đổi (ví dụ, bằng cách lấy hiệu hoặc loại bỏ xu hướng) trước khi áp dụng một Autoregressive model.

Ví dụ về cách Autoregressive Model Hoạt Động

Mình có lấy ví dụ về “Tôi là wibu” trong bài Transformer là gì, giờ lấy qua đây xài tiếp 🙂

Giả sử bạn đang viết một câu, và bạn đã viết các từ “Tôi là wibu”. Một Autoregressive model sẽ cố gắng dự đoán từ tiếp theo có khả năng nhất dựa trên các từ đã viết trước đó, như “anime” hoặc “wifu”.

Đây là cách một Autoregressive model hoạt động:

1. Bạn cung cấp cho mô hình một số dữ liệu đầu vào, như các từ “Tôi là wibu”.
2. Mô hình phân tích dữ liệu đầu vào và tìm kiếm các mẫu. Nó có thể nhận thấy rằng cụm từ “Tôi là wibu” thường sẽ đi với những thằng thất bại dưới đáy xã hội giống mình, yêu anime, lightnovel và wifu từ trong truyện bước ra.
3. Dựa trên các mẫu mà nó tìm thấy, mô hình tạo ra từ tiếp theo có khả năng nhất, như “anime” hoặc “wifu” (cũng có khi là “thất bại” hoặc “đáy xã hội”).

Sau đó, mô hình làm điều này lặp đi lặp lại, từng từ một, cho đến khi nó tạo ra một câu hoặc đoạn văn hoàn chỉnh.

Cập nhật mới giúp wibu thoát khỏi đáy xã hội là một anh chàng wibu ở Đài Loan đã liều mình giúp trấn áp vụ tấn công bằng dao tại ga tàu điện ngầm ở Đài Loan và cho biết anh ta giúp đỡ vì “Himmel (trong anime Frieren) cũng sẽ làm như vậy”. Cảm ơn anh trai tóc dài đã làm rạng danh giới Wibu!

Ứng dụng của Autoregressive Model

Natural Language Processing (NLP)

Autoregressive Model đã tìm thấy các ứng dụng quan trọng trong các nhiệm vụ xử lý ngôn ngữ tự nhiên, đặc biệt là trong việc tạo văn bản. Các mô hình này học các mẫu thống kê và sự phụ thuộc trong dữ liệu huấn luyện và sử dụng kiến thức đó để tạo ra văn bản mạch lạc và phù hợp với ngữ cảnh.

Giải thích dễ hiểu thì Natural Language Processing (NLP) là về việc dạy máy tính hiểu và tạo ra ngôn ngữ của con người. Autoregressive Model thường được sử dụng cho các nhiệm vụ như:

• Dịch ngôn ngữ (như Google Translate)
• Tạo văn bản (như viết bài báo hoặc câu chuyện)
• Phân tích cảm xúc của văn bản (như xác định xem một bài đánh giá phim là tích cực hay tiêu cực)

Một số Autoregressive Model phổ biến được sử dụng trong NLP là GPT-3, GPT-4 và BERT. Các mô hình này được huấn luyện trên lượng lớn dữ liệu văn bản, cho phép chúng hiểu và tạo ra ngôn ngữ theo cách rất giống con người.

Nhưng nổi bật nhất vẫn là loạt GPT (Generative Pre-trained Transformer), bao gồm GPT-2, GPT-3 GPT-4 và mới nhất là GPT-4o. Các mô hình này đã thể hiện khả năng đáng kể trong việc tạo ra văn bản chất lượng cao và thực hiện các nhiệm vụ liên quan đến ngôn ngữ khác nhau.

Các mô hình GPT sử dụng thành phần decoder của kiến trúc transformer cho mô hình ngôn ngữ autoregressive, cho phép chúng hiểu ngôn ngữ tự nhiên và phản hồi theo cách mà con người có thể hiểu được.

Nhận dạng và tổng hợp giọng nói

Autoregressive Model cũng đã được áp dụng cho các nhiệm vụ xử lý giọng nói, chẳng hạn như nhận dạng giọng nói tự động (ASR) và tổng hợp giọng nói.

Các mô hình như Speech2Text chấp nhận các đặc trưng log mel-filter bank được trích xuất từ dạng sóng âm thanh và được huấn luyện autoregressively để tạo ra bản ghi hoặc bản dịch.

Autoregressive Model cũng được sử dụng để cải thiện xử lý giọng nói. Điều này bao gồm:

• Nhận dạng giọng nói: Chuyển đổi lời nói thành văn bản viết (như việc đọc tin nhắn trên điện thoại của bạn, bàn phím của Google với Laban key đều có hết).
• Tổng hợp giọng nói: Chuyển đổi văn bản viết thành lời nói (như việc điện thoại của bạn đọc một cuốn sách trên các ứng dụng eBook).

Các công cụ như Google Text-to-Speech, Amazon Polly và WaveNet sử dụng Autoregressive Model để làm cho giọng nói nghe tự nhiên và giống con người hơn.

Dự báo chuỗi thời gian

Autoregressive Model đặc biệt hữu ích trong việc dự đoán khả năng xảy ra của các sự kiện chuỗi thời gian. Các mô hình deep learning sử dụng kỹ thuật autoregressive để dự báo giá cổ phiếu, mẫu thời tiết và điều kiện giao thông dựa trên các giá trị lịch sử.

Các công cụ như Facebook Prophet và ARIMA (AutoRegressive Integrated Moving Average) thường được sử dụng cho các nhiệm vụ dự báo chuỗi thời gian, tận dụng sức mạnh của mô hình autoregressive.

Tổng hợp hình ảnh

Tin hay không tuỳ bạn nhưng Autoregressive Model thậm chí có thể sử dụng để tạo và chỉnh sửa hình ảnh ấy, chúng có thể:

• Tạo ra hình ảnh thực tế từ đầu
• Chuyển đổi phong cách của một hình ảnh sang hình ảnh khác (như làm cho một bức ảnh trông giống như một bức tranh)
• Tăng độ phân giải của một hình ảnh chất lượng thấp

Ví dụ như StyleGAN và Pix2Pix là một số Autoregressive Model nổi tiếng được sử dụng cho tổng hợp hình ảnh, nếu bạn không quen 2 cái đó thì DALL-E của OpenAI là một trong những sản phẩm nổi tiếng nhất đấy.

Mặt Tốt và Xấu của Autoregressive Model

Mặt tốt

• Chúng rất giỏi trong việc tìm kiếm các mẫu phức tạp trong dữ liệu
• Chúng có thể tạo ra các đầu ra nghe hoặc trông rất thực tế và tự nhiên
• Chúng có thể được điều chỉnh cho nhiều nhiệm vụ và lĩnh vực khác nhau

Mặt chưa tốt

• Chúng yêu cầu rất nhiều dữ liệu và sức mạnh tính toán để huấn luyện, điều này có thể tốn kém và mất thời gian
• Chúng có thể học các thiên kiến có trong dữ liệu huấn luyện, dẫn đến sự thiếu đa dạng trong các đầu ra

Túm lại

Bạn cũng đã hiểu hơn về Autoregressive Model rồi đúng chứ? Cứ hiểu đơn giản là nó dựa trên thông tin hôm nay để dự báo ngày mai về một vấn đề cụ thể nào đó và nó sẽ giúp các mô hình AI nhận biết bạn muốn gì qua vài dòng chat của bạn, và trả lời một cách chính xác hơn.

Rồi vậy thì tiếp theo ở bài sau, mình sẽ giới thiệu thêm về một mô hình nữa cũng rất thú vị để tìm hiểu thêm là Flow-based Models. Còn khi nào mình viết thì chịu 🙂chắc có lẽ là mai hoặc mốt hoặc tuần sau gì đấy. Nếu mình viết rồi bạn sẽ thấy link xanh he.

Nếu trong bài viết có nội dung sai sót về mặt kiến thức, giải thích tối nghĩa, mình rất mong sẽ nhận được đóng góp ý kiến của bạn dưới phần bình luận á. Xin cảm ơn bạn trước nha.

Câu hỏi thường gặp về Autoregressive Model