4 ML: Regression

You know the types of Machine Learning algorithms (Intro)

• Er zijn verschillende soorten ML-algoritmes, zoals supervised learning (met labels), unsupervised learning (zonder labels) en reinforcement learning.

You know the difference between classification and regression (Hyperplanes)

• Bij classificatie voorspel je een categorie (bijv. ja/nee)

• Bij regressie voorspel je een continue waarde (bijv. prijs).

You can explain how hyperplanes are used in ML (Hyperplanes)

• Een hypervlak is een generalisatie van een vlak naar meerdere dimensies en wordt gebruikt om data te splitsen bij classificatie of regressie.

You understand the concept of model fit and complexity (Model Fit & Bias-Variance Tradeoff)

• Een goed model balanceert bias (onderfitting) en variance (overfitting) om optimaal te presteren op nieuwe data.

You can explain how to encode data for ML (Encoding data)

• Categoriale data moet worden omgezet naar numerieke waarden via technieken zoals one-hot encoding of label encoding.

You can describe the basics of Decision Trees in classification (Classification; Decision Tree)

·      Een decision tree splitst data op in takken op basis van kenmerken, waarbij elke split de 'zuiverheid' van de subsets probeert te maximaliseren.

You know what Gini impurity and entropy are (Purity of data set)

• Mathematical calculations to measure the ‘purity’ of a data set

• Level of chaos

You can explain what Information Gain is and how it is used (Information Gain)

• Information Gain meet hoeveel een bepaalde splitsing de onzekerheid in de data vermindert. De beste splitsing heeft de hoogste gain.

You know how to evaluate a classifier using a Confusion Matrix (Evaluation)

• Een confusion matrix toont het aantal true positives, false positives, true negatives en false negatives. Wordt gebruikt om accuraatheid te berekenen.

You understand how Random Forest works (Random Forest)

• Een Random Forest combineert meerdere decision trees, met willekeurige subsets van data (data bagging) en features (feature bagging) voor robuustheid.

You know the mathematical foundation of Linear Regression (Linear Regression - Math View)

• Lineaire regressie gebruikt een formule y=mx+by = mx + b waarbij je de lijn probeert te vinden die het best door de data past door de fouten (residuen) te minimaliseren.

You understand the difference between simple and multiple linear regression (1D vs nD)

• Bij één feature (1D) krijg je een rechte lijn

• Bij meerdere features (nD) werk je met hypervlakken.

You can explain what overfitting is and how polynomial regression contributes to it (Polynomial Regression)

• Polynomial regression gebruikt kromme lijnen (x², x³, …) om data beter te modelleren, maar teveel flexibiliteit leidt tot overfitting.

You understand the steps of regression modeling (Regression Modeling)

• Split the data into train and test set

• Fit your x- and y-train data to a model

• Plug your x-test data into model, to get the predictions y_pred

• Calculate performance of your model

You know what R2 is

• Coefficient of determination

• The proportion of the variation in the dependent variable that is predictable from the independent variable

You can explain the training and testing process in ML (Regression Modeling - ML)

• Splits data in train en test sets.

• Fit (train) het model met x-train en y-train.

• Gebruik x-test om voorspellingen (predictions) (y-pred) te maken en vergelijk met y_test.

• Bereken de performance van je model

You know how to evaluate a regression model (Regression; Model Performance)

• Gebruik R² (coëfficiënt van determinatie) om te meten hoeveel van de variantie in de data door het model wordt verklaard.

• Hoe hoger, hoe beter.

You know what RMS-error and residuals are (Model Performance)

• RMS-error meet de gemiddelde fout tussen voorspellingen en echte waarden.

• Residuen zijn de afwijkingen tussen voorspelde en echte waarden.