1/23
Looks like no tags are added yet.
Chuỗi giá trị tri thức (Dữ liệu - Thông tin - Tri thức)
Dữ liệu thô (con số, tín hiệu) -> gắn ngữ cảnh & làm sạch thành Thông tin -> tích hợp & phân tích thành Tri thức để ra quyết định.
Hệ quả khi gán sai ngữ cảnh cho dữ liệu
Tạo thông tin sai lệch, áp dụng sai phép toán (ví dụ: tính trung bình mã bưu chính) và dẫn đến mô hình dự đoán sai ('Rác vào - Rác ra').
Sự khác biệt giữa Học máy (ML) và Khai phá dữ liệu (Data Mining)
Học máy tập trung phát triển thuật toán giúp máy tự học để dự đoán tương lai; Khai phá dữ liệu tập trung tìm quy luật tiềm ẩn trong kho dữ liệu cực lớn.
Lời nguyền của số chiều (Curse of Dimensionality)
Khi số lượng thuộc tính d quá lớn, không gian bùng nổ theo cấp số nhân làm các phép đo khoảng cách (như Euclidean) mất đi tính phân biệt.
Độ thưa của dữ liệu (Sparsity)
Hiện tượng đại đa số phần tử trong ma trận dữ liệu mang giá trị 0 hoặc trống, chỉ có một tỷ lệ rất nhỏ chứa thông tin thực sự.
Quy trình KDD 5 giai đoạn chuẩn
Thu thập dữ liệu -> Tiền xử lý & làm sạch -> Khám phá/Trực quan hóa -> Mô hình hóa/Khai phá -> Đánh giá & Hậu xử lý.
Tỷ trọng thời gian của bước Tiền xử lý dữ liệu
Chiếm từ 70% đến 90% tổng thời gian và công sức của toàn bộ dự án Khoa học dữ liệu.
Lý do không được để trống giá trị khuyết thiếu (Missing Values)
Các thuật toán học máy dựa trên phép nhân ma trận và đo khoảng cách số học không thể tính toán trên giá trị rỗng (NaN / NULL).
Cách chọn giữa Mean, Median và Mode để điền giá trị thiếu
Dùng Mean cho dữ liệu phân bố đều; dùng Median khi dữ liệu bị lệch hoặc có nhiều ngoại lai (Outliers); dùng Mode cho dữ liệu định danh/chữ.
Hai phương pháp chuẩn hóa biên độ dữ liệu phổ biến
Min-Max Scaling (đưa dữ liệu về đoạn [0, 1]) và Z-score Standardization (đưa về phân bố có trung bình bằng 0 và độ lệch chuẩn bằng 1).
Định lý 'Không có bữa trưa miễn phí' (No Free Lunch Theorem)
Không tồn tại một thuật toán hay phương pháp tiền xử lý duy nhất nào tối ưu cho mọi bài toán; cần thử nghiệm thực tế để chọn mô hình tốt nhất.
Học có giám sát (Supervised Learning)
Dữ liệu huấn luyện có sẵn cả đầu vào X và nhãn đầu ra Y, mục tiêu là học hàm ánh xạ f(X) -> Y (gồm Phân loại và Hồi quy).
Cây quyết định (Decision Tree - ID3 / C4.5)
Phân nhánh từ trên xuống bằng cách chọn thuộc tính giúp dữ liệu thuần khiết nhất (dùng Information Gain hoặc Gain Ratio) và cắt tỉa (Pruning) để chống học vẹt.
Thuật toán k-Hàng xóm gần nhất (k-NN)
Thuật toán 'lười học' (lazy learner), dự đoán nhãn của điểm mới dựa trên biểu quyết đa số của k điểm gần nhất theo khoảng cách.
Máy vectơ hỗ trợ (SVM)
Tìm một siêu phẳng (hyperplane) tối ưu để tạo ra biên phân tách rộng nhất (maximum margin) giữa các lớp dữ liệu.
Naive Bayes và kỹ thuật Laplace Smoothing
Phân loại dựa trên định lý Bayes với giả định các đặc trưng độc lập nhau; dùng Laplace Smoothing để tránh lỗi toàn bộ tích xác suất bị triệt tiêu về 0.
Học không giám sát (Unsupervised Learning)
Dữ liệu chỉ có đầu vào X và hoàn toàn không có nhãn Y; thuật toán tự khám phá cấu trúc ẩn bên trong dữ liệu (như Phân cụm, Luật kết hợp).
Thuật toán phân cụm K-Means (và K-Means++)
Lặp lại 2 bước: Gán điểm dữ liệu vào tâm gần nhất và Cập nhật tâm về trung bình cộng của cụm; K-Means++ giúp chọn các tâm ban đầu cách xa nhau.
Thuật toán phân cụm mật độ DBSCAN
Gom cụm dựa trên mật độ qua 2 tham số Eps và MinPts, chia điểm thành Lõi (Core), Biên (Border) và Nhiễu (Noise).
Nguyên lý Apriori (Tính chất Anti-monotone)
Nếu một tập mục là phổ biến thì mọi tập con của nó đều phổ biến; ngược lại, nếu một tập con không phổ biến thì tập cha chắc chắn không phổ biến.
Đánh giá Luật kết hợp: Support, Confidence và Lift
Support đo tần suất cùng xuất hiện; Confidence đo xác suất có điều kiện P(Y|X); Lift kiểm tra tương quan thực sự để tránh ngộ nhận khi một món vốn quá phổ biến.
Tối ưu đọc đĩa cứng (IO) trong khai phá tập phổ biến
RAM nhanh hơn đĩa cứng hàng nghìn lần; các thuật toán như PCY, Sampling, SON và Toivonen giảm số lượt quét dữ liệu xuống tối đa <= 2 lượt.
Hiện tượng Quá khớp (Overfitting) và cách phòng tránh
Mô hình học vẹt quá kỹ dữ liệu huấn luyện (kể cả nhiễu) nên dự đoán kém trên dữ liệu mới; phòng tránh bằng cách chia tập Train/Validation/Test (Hold-out, K-Fold).
Độ đo đánh giá mô hình Phân loại vs. Phân cụm
Phân loại dùng Ma trận nhầm lẫn (Accuracy, Precision, Recall, F1-Score); Phân cụm dùng độ đo trong (SSE) hoặc độ đo ngoài (Entropy, Purity).