Optimasi & Gradient Descent
Cara model belajar: loss, melangkah berlawanan arah turunan, memilih learning rate, gradien dan peta kontur, regresi garis tanpa rumus, minimum lokal dan momentum, mini-batch, sampai satu neuron sigmoid dengan aturan rantai.
Isi materi
- Masalah Optimasi
- Menuruni Bukit
- Learning Rate
- Gradien di Dua Dimensi
- Regresi dengan Gradient Descent
- Minimum Lokal dan Momentum
- Stochastic dan Mini-batch
- Menuju Jaringan Saraf
Istilah penting
- Loss
- Angka yang mengukur seberapa buruk tebakan model; makin kecil makin baik.
- Optimasi
- Mencari nilai parameter yang membuat loss sekecil mungkin.
- Gradient Descent
- Mengulang langkah kecil berlawanan arah turunan: x ← x − η·f′(x).
- Learning Rate (η)
- Pengali yang menentukan panjang tiap langkah gradient descent.
- Turunan Parsial
- Turunan terhadap satu variabel sambil variabel lain dianggap tetap.
- Gradien
- Vektor berisi semua turunan parsial; menunjuk arah naik tercuram.
- Garis Kontur
- Kumpulan titik yang nilai fungsinya sama, seperti garis ketinggian di peta.
- Mean Squared Error
- Rata-rata kuadrat selisih antara tebakan dan nilai sebenarnya.
- Minimum Lokal
- Titik yang lebih rendah dari sekitarnya, tapi belum tentu yang terendah.
- Momentum
- Menambahkan sebagian langkah sebelumnya ke langkah sekarang, seperti bola yang punya inersia.
- Mini-batch
- Sebagian kecil data acak yang dipakai untuk menghitung gradien di satu langkah.
- Epoch
- Satu putaran penuh melewati seluruh data latih.
- Sigmoid
- Fungsi σ(z) = 1/(1 + e⁻ᶻ) yang memampatkan bilangan apa pun ke antara 0 dan 1.
- Backpropagation
- Menghitung gradien loss terhadap setiap bobot dengan aturan rantai, dari output ke input.