Pikirkan setiap node individu sebagai model regresi linier nya sendiri, terdiri dari data input, bobot, bias (atau ambang batas), dan output. Rumusnya akan terlihat seperti ini:

∑wixi + bias = w1x1 + w2x2 + w3x3 + bias

output = f(x) = 1 if ∑w1x1 + b>= 0; 0 if ∑w1x1 + b < 0

Setelah lapisan input ditentukan, bobot ditetapkan. Bobot ini membantu menentukan pentingnya variabel tertentu, dengan bobot yang lebih besar berkontribusi lebih signifikan terhadap hasil dibandingkan dengan input lainnya. Semua input kemudian dikalikan dengan bobotnya masing-masing dan kemudian dijumlahkan. Setelah itu, hasil dilewatkan melalui fungsi aktivasi, yang menentukan hasil. Jika nilai hasil tersebut melebihi ambang batas yang diberikan, maka akan "menembak" atau mengaktifkan node, meneruskan data ke lapisan berikutnya dalam jaringan. Hal ini mengakibatkan hasil dari satu node menjadi input dari node berikutnya. Proses meneruskan data dari satu lapisan ke lapisan berikutnya mendefinisikan jaringan neural ini sebagai jaringan feedforward.

Mari kita uraikan seperti apa satu node tunggal menggunakan nilai biner. Kita dapat menerapkan konsep ini pada contoh yang lebih nyata, seperti apakah Anda harus berselancar (Ya: 1, Tidak: 0). Keputusan untuk pergi atau tidak pergi adalah hasil prediksi kita, atau y-hat. Mari kita asumsikan bahwa ada tiga faktor yang mempengaruhi pengambilan keputusan Anda:

1. Apakah ombaknya bagus? (Ya: 1, Tidak: 0)
2. Apakah line-up kosong? (Ya: 1, Tidak: 0)
3. Apakah ada serangan hiu baru-baru ini? (Ya: 0, Tidak: 1)

Kemudian, mari kita asumsikan yang berikut, memberi kita input berikut:

• X1 = 1, karena ombak besar
• X2 = 0, karena tidak ada kerumunan
• X3 = 1, karena belum ada serangan hiu baru-baru ini

Sekarang, kita perlu menetapkan beberapa bobot untuk menentukan pentingnya. Bobot yang lebih besar menandakan bahwa variabel tertentu lebih penting untuk keputusan atau hasil.

• W1 = 5, karena gelombang besar tidak sering muncul
• W2 = 2, karena Anda terbiasa dengan keramaian
• W3 = 4, karena Anda takut pada hiu

Akhirnya, kita juga akan mengasumsikan nilai ambang 3, yang akan diterjemahkan ke nilai bias 3. Dengan semua input yang berbeda, kita dapat mulai memasukkan nilai ke dalam rumus untuk mendapatkan hasil yang diinginkan.

Y-hat = (1*5) + (0*2) + (1*4) – 3 = 6

Jika kita menggunakan fungsi aktivasi dari awal bagian ini, kita dapat menentukan bahwa hasil dari node ini adalah 1, karena 6 lebih besar dari 0. Dalam contoh ini, Anda akan berselancar, namun jika kita menyesuaikan bobot atau ambang batasnya, kita dapat memperoleh hasil yang berbeda dari model tersebut. Saat kita mengamati satu keputusan, seperti contoh di atas, kita dapat melihat bagaimana jaringan neural dapat membuat keputusan yang semakin kompleks tergantung pada hasil dari keputusan atau lapisan sebelumnya.

Pada contoh di atas, kita menggunakan perceptron untuk mengilustrasikan beberapa matematika yang berperan di sini, tetapi jaringan neural memanfaatkan neuron sigmoid, yang dibedakan dengan nilai antara 0 dan 1. Karena jaringan neural berperilaku mirip dengan pohon keputusan, mengalirkan data dari satu node ke node lainnya, dengan nilai x antara 0 dan 1 akan mengurangi dampak dari setiap perubahan variabel tunggal pada hasil node tertentu, dan selanjutnya, hasil dari jaringan neural.

Saat kami mulai memikirkan contoh penggunaan yang lebih praktis untuk jaringan neural, seperti pengenalan atau klasifikasi gambar, kami akan memanfaatkan pembelajaran yang diawasi, atau kumpulan data berlabel, untuk melatih algoritme. Saat melatih model, kami ingin mengevaluasi keakuratannya menggunakan fungsi biaya (atau kerugian). Hal ini juga biasa disebut dengan mean squared error (MSE). Dalam persamaan di bawah ini,

• i mewakili indeks sampel,
• y-hat adalah hasil yang diprediksi,
• y adalah nilai sebenarnya, dan
• m adalah jumlah sampel.

= =1/2 ∑129_(=1)^▒( ̂^(() )−^(() ) )^2

Pada akhirnya, tujuannya adalah untuk meminimalkan fungsi biaya kami untuk memastikan kebenaran kesesuaian untuk setiap pengamatan yang diberikan. Ketika model menyesuaikan bobot dan biasnya, ia menggunakan fungsi biaya dan pembelajaran penguatan untuk mencapai titik konvergensi, atau minimum lokal. Proses di mana algoritma menyesuaikan bobotnya adalah melalui penurunan gradien, memungkinkan model untuk menentukan arah yang harus diambil untuk mengurangi kesalahan (atau meminimalkan fungsi biaya). Dengan setiap contoh pelatihan, parameter model menyesuaikan untuk menyatu secara bertahap di nilai minimal.  

Lihat artikel IBM Developer ini untuk penjelasan lebih mendalam tentang konsep kuantitatif yang terlibat dalam jaringan neural.

Sebagian besar jaringan neural mendalam bersifat feedforward, artinya mereka mengalir dalam satu arah saja, dari input ke hasil. Namun, Anda juga dapat melatih model Anda melalui propagasi balik; yaitu, bergerak ke arah yang berlawanan dari hasil ke input. Propagasi balik memungkinkan kita untuk menghitung dan mengaitkan kesalahan yang terkait dengan setiap neuron, sehingga kita dapat menyesuaikan dan mencocokkan parameter model dengan tepat.