Tag Archives: Contrastive Divergence

Bagaimana cara mengumpulkan statistik pada Contrastive Divergence(CD)?

Oleh: Abu Ahmad (abuahmad@promotionme.com)

Sebagai awalan, kita asumsikan bahwa semua unit visible dan hidden adalah unit biner. Jenis unit lain akan kita bahas kemudian hari. Kita juga akan asumsikan bahwa tujuan dari pembelajaran adalah untuk menghasilkan sebuah model generatif yang bagus untuk sekumpulan vektor training. Ketika menggunakan Restricted Boltzmann Machine (RBM) untuk pembelajaran Deep Belief Nets (DBN) yang selanjutnya akan diperbaiki menggunakan propagasi balik, model generatif bukanlah tujuan akhir dan mungkin untuk dibiarkan dalam kondisi di bawah sesuai (underfitting) untuk menghemat waktu, namun hal tersebut akan kita abaikan di sini.

Syaraf Manusia Mengindra Gambar dan Rangsangan dari Luar

Syaraf Manusia Mengindra Gambar dan Rangsangan dari Luar

Pembaharuan status hidden

Asumsikan bahwa unit hidden adalah unit biner dan kita sedang menggunakan CD_1, unit hidden seharusnya mempunyai status biner stokastik ketika dihasilkan oleh sebuah vektor data. Probabilitas mengaktifkan sebuah unit hidden j, dihitung dengan menerapkan fungsi logistik \sigma(x)=1/(1+exp(-x)) pada total masukannya.

(1)   \begin{equation*}  p(h_j=1)=\sigma(b_j + \sum_iv_iw_{ij}) \end{equation*}

dan unit hidden menjadi aktif jika probabilitas ini lebih besar daripada angka acak yang dibangkitkan secara merata antar 0 dan 1.

Continue reading