Data mining basic

0.0(0)
Studied by 0 people
call kaiCall Kai
learnLearn
examPractice Test
spaced repetitionSpaced Repetition
heart puzzleMatch
flashcardsFlashcards
GameKnowt Play
Card Sorting

1/23

encourage image

There's no tags or description

Looks like no tags are added yet.

24 Terms

1
New cards

Chuỗi giá trị tri thức (Dữ liệu - Thông tin - Tri thức)

Dữ liệu thô (con số, tín hiệu) -> gắn ngữ cảnh & làm sạch thành Thông tin -> tích hợp & phân tích thành Tri thức để ra quyết định.

2
New cards

Hệ quả khi gán sai ngữ cảnh cho dữ liệu

Tạo thông tin sai lệch, áp dụng sai phép toán (ví dụ: tính trung bình mã bưu chính) và dẫn đến mô hình dự đoán sai ('Rác vào - Rác ra').

3
New cards

Sự khác biệt giữa Học máy (ML) và Khai phá dữ liệu (Data Mining)

Học máy tập trung phát triển thuật toán giúp máy tự học để dự đoán tương lai; Khai phá dữ liệu tập trung tìm quy luật tiềm ẩn trong kho dữ liệu cực lớn.

4
New cards

Lời nguyền của số chiều (Curse of Dimensionality)

Khi số lượng thuộc tính d quá lớn, không gian bùng nổ theo cấp số nhân làm các phép đo khoảng cách (như Euclidean) mất đi tính phân biệt.

5
New cards

Độ thưa của dữ liệu (Sparsity)

Hiện tượng đại đa số phần tử trong ma trận dữ liệu mang giá trị 0 hoặc trống, chỉ có một tỷ lệ rất nhỏ chứa thông tin thực sự.

6
New cards

Quy trình KDD 5 giai đoạn chuẩn

Thu thập dữ liệu -> Tiền xử lý & làm sạch -> Khám phá/Trực quan hóa -> Mô hình hóa/Khai phá -> Đánh giá & Hậu xử lý.

7
New cards

Tỷ trọng thời gian của bước Tiền xử lý dữ liệu

Chiếm từ 70% đến 90% tổng thời gian và công sức của toàn bộ dự án Khoa học dữ liệu.

8
New cards

Lý do không được để trống giá trị khuyết thiếu (Missing Values)

Các thuật toán học máy dựa trên phép nhân ma trận và đo khoảng cách số học không thể tính toán trên giá trị rỗng (NaN / NULL).

9
New cards

Cách chọn giữa Mean, Median và Mode để điền giá trị thiếu

Dùng Mean cho dữ liệu phân bố đều; dùng Median khi dữ liệu bị lệch hoặc có nhiều ngoại lai (Outliers); dùng Mode cho dữ liệu định danh/chữ.

10
New cards

Hai phương pháp chuẩn hóa biên độ dữ liệu phổ biến

Min-Max Scaling (đưa dữ liệu về đoạn [0, 1]) và Z-score Standardization (đưa về phân bố có trung bình bằng 0 và độ lệch chuẩn bằng 1).

11
New cards

Định lý 'Không có bữa trưa miễn phí' (No Free Lunch Theorem)

Không tồn tại một thuật toán hay phương pháp tiền xử lý duy nhất nào tối ưu cho mọi bài toán; cần thử nghiệm thực tế để chọn mô hình tốt nhất.

12
New cards

Học có giám sát (Supervised Learning)

Dữ liệu huấn luyện có sẵn cả đầu vào X và nhãn đầu ra Y, mục tiêu là học hàm ánh xạ f(X) -> Y (gồm Phân loại và Hồi quy).

13
New cards

Cây quyết định (Decision Tree - ID3 / C4.5)

Phân nhánh từ trên xuống bằng cách chọn thuộc tính giúp dữ liệu thuần khiết nhất (dùng Information Gain hoặc Gain Ratio) và cắt tỉa (Pruning) để chống học vẹt.

14
New cards

Thuật toán k-Hàng xóm gần nhất (k-NN)

Thuật toán 'lười học' (lazy learner), dự đoán nhãn của điểm mới dựa trên biểu quyết đa số của k điểm gần nhất theo khoảng cách.

15
New cards

Máy vectơ hỗ trợ (SVM)

Tìm một siêu phẳng (hyperplane) tối ưu để tạo ra biên phân tách rộng nhất (maximum margin) giữa các lớp dữ liệu.

16
New cards

Naive Bayes và kỹ thuật Laplace Smoothing

Phân loại dựa trên định lý Bayes với giả định các đặc trưng độc lập nhau; dùng Laplace Smoothing để tránh lỗi toàn bộ tích xác suất bị triệt tiêu về 0.

17
New cards

Học không giám sát (Unsupervised Learning)

Dữ liệu chỉ có đầu vào X và hoàn toàn không có nhãn Y; thuật toán tự khám phá cấu trúc ẩn bên trong dữ liệu (như Phân cụm, Luật kết hợp).

18
New cards

Thuật toán phân cụm K-Means (và K-Means++)

Lặp lại 2 bước: Gán điểm dữ liệu vào tâm gần nhất và Cập nhật tâm về trung bình cộng của cụm; K-Means++ giúp chọn các tâm ban đầu cách xa nhau.

19
New cards

Thuật toán phân cụm mật độ DBSCAN

Gom cụm dựa trên mật độ qua 2 tham số Eps và MinPts, chia điểm thành Lõi (Core), Biên (Border) và Nhiễu (Noise).

20
New cards

Nguyên lý Apriori (Tính chất Anti-monotone)

Nếu một tập mục là phổ biến thì mọi tập con của nó đều phổ biến; ngược lại, nếu một tập con không phổ biến thì tập cha chắc chắn không phổ biến.

21
New cards

Đánh giá Luật kết hợp: Support, Confidence và Lift

Support đo tần suất cùng xuất hiện; Confidence đo xác suất có điều kiện P(Y|X); Lift kiểm tra tương quan thực sự để tránh ngộ nhận khi một món vốn quá phổ biến.

22
New cards

Tối ưu đọc đĩa cứng (IO) trong khai phá tập phổ biến

RAM nhanh hơn đĩa cứng hàng nghìn lần; các thuật toán như PCY, Sampling, SON và Toivonen giảm số lượt quét dữ liệu xuống tối đa <= 2 lượt.

23
New cards

Hiện tượng Quá khớp (Overfitting) và cách phòng tránh

Mô hình học vẹt quá kỹ dữ liệu huấn luyện (kể cả nhiễu) nên dự đoán kém trên dữ liệu mới; phòng tránh bằng cách chia tập Train/Validation/Test (Hold-out, K-Fold).

24
New cards

Độ đo đánh giá mô hình Phân loại vs. Phân cụm

Phân loại dùng Ma trận nhầm lẫn (Accuracy, Precision, Recall, F1-Score); Phân cụm dùng độ đo trong (SSE) hoặc độ đo ngoài (Entropy, Purity).