Neural Network - Fungsi Aktivasi dan Proses Pembelajaran

Fungsi Aktivasi Neural Network

Argumen Fungsi Aktivasi

• Argumen dari fungsi aktivasi adalah net masukan, yang merupakan kombinasi linear dari masukan dan bobotnya.

• Jika $net = \sigma x<em>i w</em>i$, maka fungsi aktivasinya adalah $f(net) = f(\sigma x<em>i w</em>i)$.

Jenis-Jenis Fungsi Aktivasi

• Fungsi Biner Hard Limit

• Fungsi Biner Threshold

• Fungsi Bipolar (Symmetric Hard Limit)

• Fungsi Bipolar Threshold

• Fungsi Linear (Identitas)

• Fungsi Saturating Linear

• Fungsi Symmetric Saturating Linear

• Fungsi Sigmoid Biner

• Fungsi Sigmoid Bipolar

• Fungsi Sigmoid dan Tanh Non Linear

• Fungsi ReLU Non Linear

Fungsi Biner Hard Limit

• Definisi:
  $y = \begin{cases} 0, &amp; \text{jika } x \le 0 \ 1, &amp; \text{jika } x &gt; 0 \end{cases}$ Biner Threshold / Fungsi Heaviside

• Definisi:
  $y = \begin{cases} 0, &amp; \text{jika } x &lt; \theta \ 1, &amp; \text{jika } x \ge \theta \end{cases}$ Bipolar (Symmetric Hard Limit)

• Definisi:
  $y = \begin{cases} 1, &amp; \text{jika } x &gt; 0 \ 0, &amp; \text{jika } x = 0 \ -1, &amp; \text{jika } x &lt; 0 \end{cases}$ Threshold

• Definisi:
  $y = \begin{cases} 1, &amp; \text{jika } x \ge \theta \ -1, &amp; \text{jika } x &lt; \theta \end{cases}$ Linear (Identitas)

• Dapat dianggap sebagai fungsi aktivasi “default” dari sebuah neuron.

• Jika sebuah neuron menggunakan fungsi linear, maka keluarannya adalah weighted sum dari input + bias.

Fungsi Saturating Linear

• Definisi:
  $y = \begin{cases} 1, &amp; \text{jika } x \ge 0.5 \ x + 0.5, &amp; \text{jika } -0.5 \le x \le 0.5 \ 0, &amp; \text{jika } x &lt; -0.5 \end{cases}$

Fungsi Symmetric Saturating Linear

• Definisi:
  $y = \begin{cases} 1, &amp; \text{jika } x &gt; 1 \ x, &amp; \text{jika } -1 \le x \le 1 \ -1, &amp; \text{jika } x \le -1 \end{cases}$

Fungsi Sigmoid Biner

• Definisi:
  $y = f(x) = \frac{1}{1 + e^{-\sigma x}}$

• Turunan:
  $f'(x) = \sigma f(x)[1 - f(x)]$

Fungsi Sigmoid Bipolar

• Definisi:
  $y = f(x) = \frac{1 - e^{-x}}{1 + e^{-x}}$

• Turunan:
  $f'(x) = \sigma \frac{2}{1 + f(x)} [1 - f(x)]$

Fungsi Sigmoid dan Tanh (Non Linear)

• Sigmoid memiliki rentang antara 0 hingga 1.

• Tanh memiliki rentang antara -1 hingga 1.

• Keduanya sering digunakan untuk klasifikasi 2 class atau kelompok data.

Fungsi Aktivasi untuk Arsitektur Convolusion (ReLU - Non-Linear)

• ReLU pada dasarnya melakukan “threshold” dari 0 hingga infinity.

• ReLU dapat menutupi kelemahan Sigmoid dan Tanh.

Pelatihan Jaringan

Klasifikasi Jaringan Saraf Tiruan

• Berdasarkan cara memodifikasi/encoding/decoding:

  • Supervised-Feedforward: JST dibimbing dalam penyimpanan pengetahuan, sinyal diteruskan tanpa umpan balik.

  • Unsupervised-Feedforward: JST tidak dibimbing, sinyal diteruskan tanpa umpan balik.

  • Unsupervised-Feedback: JST tidak dibimbing, sinyal diteruskan dengan umpan balik.

  • Supervised-Feedback: JST dibimbing, sinyal diteruskan dengan umpan balik.

Konsep Pelatihan Neural Network

• Jaringan menerima input data dan menghasilkan output (prediksi).

• Output dibandingkan dengan target/truth untuk menghitung loss/error.

• Backpropagation digunakan untuk memperbarui bobot berdasarkan error.

Konsep JST yang Diawasi (Supervised)

• JST diberi masukan, dan keluarannya ditentukan oleh pengajar.

• JST menyesuaikan bobot sinapsis selama proses.

Konsep JST Tanpa Diawasi (Unsupervised)

• Kebalikan dari supervised, JST mengatur keluarannya secara mandiri sesuai aturan yang dimiliki.

Konsep JST Feedforward

• Hasil outputnya sudah dapat diketahui sebelumnya.

Konsep JST Feedback

• Lebih dinamis, kondisi jaringan selalu berubah sampai diperoleh keseimbangan.

Model Pembelajaran JST

• Pembelajaran dengan supervised:

  • Contoh Model: McCulloch Pitts, Perceptron, Multi Layer Perceptron, Backpropagation, ADALINE, MADALINE

• Pembelajaran Unsupervised:

  • Contoh Model: model Hebbian, Kohonen, Learning Vector Quantization (LVQ), Hopfield.