Oleh: Abu Ahmad (abuahmad@promotionme.com)
Sebagai awalan, kita asumsikan bahwa semua unit visible dan hidden adalah unit biner. Jenis unit lain akan kita bahas kemudian hari. Kita juga akan asumsikan bahwa tujuan dari pembelajaran adalah untuk menghasilkan sebuah model generatif yang bagus untuk sekumpulan vektor training. Ketika menggunakan Restricted Boltzmann Machine (RBM) untuk pembelajaran Deep Belief Nets (DBN) yang selanjutnya akan diperbaiki menggunakan propagasi balik, model generatif bukanlah tujuan akhir dan mungkin untuk dibiarkan dalam kondisi di bawah sesuai (underfitting) untuk menghemat waktu, namun hal tersebut akan kita abaikan di sini.
Pembaharuan status hidden
Asumsikan bahwa unit hidden adalah unit biner dan kita sedang menggunakan , unit hidden seharusnya mempunyai status biner stokastik ketika dihasilkan oleh sebuah vektor data. Probabilitas mengaktifkan sebuah unit hidden
, dihitung dengan menerapkan fungsi logistik
pada total masukannya.
(1)
dan unit hidden menjadi aktif jika probabilitas ini lebih besar daripada angka acak yang dibangkitkan secara merata antar 0 dan 1.