Linear Regression (hồi quy tuyến tính)

Linear Regression (hồi quy tuyến tính) là một trong những thuật toán đơn giản và phổ biến nhất trong Machine Learning, được sử dụng để mô hình hóa mối quan hệ giữa biến đầu vào (independent variables hay features) và biến đầu ra (dependent variable hay target).

Mô hình cơ bản của Linear Regression:

Mô hình hồi quy tuyến tính cố gắng tìm một hàm số tuyến tính để dự đoán giá trị đầu ra dựa trên đầu vào:

$$y = \mathbf{w}^T \mathbf{x} + b$$Trong đó:

• $y$: Giá trị đầu ra dự đoán (target).
• $\mathbf{x}$: Vector đặc trưng (features) đầu vào.
• $\mathbf{w}$: Vector trọng số (weights) mà mô hình học được.
• $b$: Bias (độ lệch), điều chỉnh dự đoán của mô hình.

1. Linear Regression đơn biến (Simple Linear Regression)

Nếu mô hình chỉ có một biến đầu vào, thì mô hình được gọi là Simple Linear Regression và có dạng:

$$y=w_{1}x+b$$

• $w_1$: Trọng số hoặc hệ số góc (slope) của đường thẳng.
• $x$: Biến đầu vào (feature).
• $b$: Bias, còn gọi là hệ số cắt (intercept), là giá trị của $y$ khi $x = 0$.

Mục tiêu là tìm được $w_1$ và $b$ sao cho đường thẳng $y = w_1 x + b$ là tốt nhất để dự đoán giá trị $y$ dựa trên giá trị $x$.

2. Linear Regression đa biến (Multiple Linear Regression)

Khi có nhiều biến đầu vào (nhiều features), mô hình có dạng tổng quát hơn:

$$y=w_1{x}_1+w_2{x}_2+\cdots +w_n{x}_n+b$$

Hoặc viết dưới dạng vector:

$$y={\mathbf{w}}^T\mathbf{x}+b$$

• $\mathbf{w} = (w_1, w_2, \dots, w_n)$: Vector trọng số cho các biến đầu vào.
• $\mathbf{x} = (x_1, x_2, \dots, x_n)$: Vector đầu vào (features).
• $b$: Bias.

Mục tiêu là tối ưu hóa $\mathbf{w}$ và $b$ để dự đoán $y$ dựa trên tập hợp các đặc trưng $\mathbf{x}$.

3. Hàm mất mát (Loss Function)

Trong hồi quy tuyến tính, hàm mất mát phổ biến là Mean Squared Error (MSE), giúp đo lường sự khác biệt giữa giá trị dự đoán $\hat{y}$ và giá trị thực $y$:

$$MSE=\frac{1}{m}\sum _{i=1}^m(y_i-{\widehat{y}}_i{)}^2$$

Trong đó:

• $y_i$: Giá trị thực tế.
• $\hat{y}_i$: Giá trị dự đoán bởi mô hình.
• $m$: Số lượng mẫu.

Mục tiêu của hồi quy tuyến tính là tìm các giá trị của $\mathbf{w}$ và $b$ sao cho hàm mất mát MSE được tối thiểu hóa.

Để tìm các trọng số $\mathbf{w}$ và bias $b$ sao cho hàm mất mát $L$ là nhỏ nhất, ta có thể sử dụng các phép toán đại số để tìm cực tiểu của hàm này.

a. Chuyển đổi về Dạng Ma Trận

• Giả sử ta có $n$ mẫu dữ liệu, ta có thể biểu diễn tập dữ liệu dưới dạng ma trận:

  • Ma trận đặc trưng $X$ có kích thước $n \times m$ (với $m$ là số lượng đặc trưng).
  • Vector mục tiêu $y$ có kích thước $n \times 1$.

• Ta có thể mở rộng mô hình để bao gồm bias $b$ bằng cách thêm một cột các giá trị 1 vào ma trận $X$:

$$X' = \begin{pmatrix} 1 & x_{11} & x_{12} & \cdots & x_{1m} \\ 1 & x_{21} & x_{22} & \cdots & x_{2m} \\ \vdots & \vdots & \vdots & \ddots & \vdots \\ 1 & x_{n1} & x_{n2} & \cdots & x_{nm} \end{pmatrix}$$

Và trọng số sẽ là $\mathbf{w}'$ bao gồm cả $b$.

b. Tính Đạo Hàm

• Để tối thiểu hóa hàm mất mát, ta tính đạo hàm theo trọng số và đặt nó bằng 0:

$${\mathrm{\nabla }}_{\mathbf{w}}L(\mathbf{w})=-\frac{2}{n}{X}^T(y-X\mathbf{w})=0$$

c. Giải Đạo Hàm

• Giải phương trình trên để tìm trọng số:

$$X^T(y-X\mathbf{w})=0⟹X^{T}y=X^{T}X\mathbf{w}$$

• Sau đó, nếu ma trận $X^T X$ khả nghịch (invertible), ta có:

$$\mathbf{w}=(X^{T}X{)}^{-1}{X}^{T}y$$

* Điều kiện

Phương trình này hoạt động hiệu quả khi:

• Ma trận $X^T X$ là khả nghịch, tức là nó không có các đặc trưng tuyến tính (các cột của ma trận $X$ phải độc lập tuyến tính).
• Dữ liệu không bị phân tán quá mức và mô hình hồi quy tuyến tính là phù hợp với tập dữ liệu.

4. Ứng dụng của Linear Regression

Linear Regression được sử dụng rộng rãi trong nhiều bài toán dự đoán, ví dụ:

• Dự đoán giá nhà dựa trên các yếu tố như diện tích, số phòng, vị trí.
• Dự đoán doanh thu bán hàng dựa trên chi tiêu quảng cáo, giá sản phẩm, mùa vụ.
• Phân tích xu hướng: Dự đoán xu hướng trong tương lai từ các dữ liệu quá khứ như thời tiết, tài chính, v.v.