Monthly Archives: April 2014

Gambar 1

Model Bayesian Hirarkis untuk Rekonstruksi Sinyal

Berdasarkan pernyataan dalam rujukan, pada makalah ini, kita mengusulkan penggunaan koefisien sinyal \bar{w}. Untuk mengatasi fakta bahwa distribusi laplace bukanlah model konjugasi dalam persamaan 6 dalam rujukan, kami memodelkan distribusi laplace dalam bentuk hirarkis dengan menggunakan hiperprior \gamma_i pada referensi ke 16 pada rujukan.
Persamaan 16.

    \[p(\gamma_i|\lambda)=\Gamma(\gamma_i|i,\lambda/2)=\lambda/2\  exp⁡(-(\lambda\gamma_i)/2),\gamma_i\ge  0,\lambda\ge 0\]

Dan kemudian menggunakan model Gaussian dalam persamaan (11) untuk memodelkan p(\bar{w}|\bar{\gamma}). Dengan kata lain, kita mendapatkan
Persamaan 17.

    \[p(\bar{w}|\lambda)=\int p(\bar{w}|\bar{\gamma}  )p(\bar{\gamma}|\lambda )d\bar{\gamma}=\prod_i▒〖\int p(w_i|\gamma_i )p(\gamma_i|\lambda)d\gamma_i 〗\]

    \[=\lambda^{N/2}/2^N   exp⁡(-\sqrt{\lambda} \sum_i▒|w_i | )\]

Gambar 1

Gambar 1

Gambar 1. Grap Berarah tanpa lintasan yang merepresentasikan model Bayesian.
Akhirnya, kita memodelkan λ sebagai realisasi dari hiperprior Gamma berikut:
Persamaan 18.
p(λ│v)=Γ(λ│v/2,v/2)
Pemodelan yang diusulkan menuntut sebuah bentuk hirarkis tiga tahap. Dua tahap pertama dari prior hirarkis ini persamaan 11 dan 16 pada rujuman dalam sebuah distribusi laplace p(\bar{w}|\lambda) sesuai pustaka no 16 pada rujukan, dan tahap terakhir persamaan 18 disertakan untuk menghitung λ. Formulasi ini bisa ditunjukkan untuk secara dekat berhubungan dengan formulasi variasional konveks pada pustaka ke 20 dalam rujukan, dan prior variasi total yang digunakan dalam restorasi citra pada pustaka 21 dalam rujukan.
Distribusi prior pada λ; dari informasi yang sangat samar pada λ
Continue reading

Alternatif Model Prior

Sebagai alternatif, pada paper lainnya, model prior pada w ̅ diformulasikan pada variabel presisi \alpha_i=\gamma_i^{(-1)}. Sebuah gamma hyperprior digunakan pada variabel presisi, yaitu
Persamaan 14.

    \[p(\alpha_i|a_i^\alpha,b_i^\alpha)=\Gamma(\alpha_i|a_i^\alpha,b_i^\alpha )\]

Rumusan ini dengan prior hirarkis pada persamaan 11 dan 14 secara umum disebut sebagai relevance vector machine(RVM), atau Sparce Bayesian Learning(SBL). Namun, Perlu di catat,  bahwa baik dalam karya aslinya dan adaptasi dari prior hirarkis pada permasalahan sensing kompresif, bentuk dan paremeter skala diatur berturut-turut sama dengan a_i^\alpha=1,b_i^\alpha=0, sehingga mendapatkan distribusi uniform atau non informatif untuk parameter ini.
Ketika menggunakan prior non informatif pada \alpha_i,p(\alpha_i|a_i^\alpha,b_i^\alpha ) menjadi
Persamaan 15.

    \[p(\alpha_i|1,0)=lim_{\zeta \rightarrow 0}⁡〖\Gamma(\alpha_i|\zeta ,0)〗\]

Sangat penting untuk menyebutkan bahwa ketika mengubah variabel dari \gamma_i menjadi \alpha_i estimasi maximum a posteriori pasangannya tidak dihubungkan dengan (\alpha_i )_{MAP}=1/(\gamma_i )_{MAP.}
Nilai dari a_i^\alpha dan b_i^\alpha selain dari a_i^\alpha=1 ,b_i^\alpha=0 akan menghasilkan distribusi Student’s t untuk distribusi marginal p(\bar{w}). Alasan pada paper lain bahwa prior Student’s t akan mengarah pada solusi yang kurang renggang dari RVM.
Seperti yang dijelaskan pada makalah lain, dibandingkan dengan prior Gaussian terpisah yang digunakan pada masukan \bar{w} dalam framework RVM, laplace prior mendayagunakan batasan kerenggangan lebih berat dengan menyebarkan massa posterior lebih banyak pada sumbu sehingga koefisien sinyal yang dekat nol lebih disukai. Continue reading

Pemodelan Sinyal untuk Laplace Prior

Formulasi reguralisasi l_1 pada penelitian lain setara dengan penggunaan prior Laplace pada koefisien \bar{w}, yaitu
Persamaan 10.

    \[p(\bar{w}|\gamma)=\frac{\gamma}{2}  exp⁡(\frac{-\gamma}{2}  ||\bar{w}||_1 )\]

Dan penggunaan sebuah formulasi maximum a posteriori (MAP) untuk τ=λ/β. Namun, formulasi prior Laplace ini tidak memungkinkan sebuah analisis Bayesian yang bisa ‘dijinakkan’, karena formulasi ini bukan konjugasi dari distribusi bersyarat. Untuk membantu hal ini, prior hirarkial dipergunakan. Dalam pembahasan berikut, kita mengulas model yang digunakan sejauh ini dalam literatur untuk memodelkan w dan memperkenalkan struktur prior yang digunakan pekerjaan ini.

Dalam pembahasan lain, sebagai tahap pertama dari model hirarkial, prior berikut digunakan pada w:
Persamaan 11.

    \[p(w|\bar{\gamma} )=\prod_{i=1}^NNormal(w_i |0,\gamma_i)\]

Dimana \bar{\gamma}=\{\gamma_1,\gamma_2,...,\gamma_N\}. Dalam tahap kedua dari hirarki, sebuah hyperprior Jeffrey digunakan secara independen pada tiap \gamma_i, yaitu
Persamaan 12.
p(\gamma_i )\propto1/\gamma_i
Amati bahwa karena
Persamaan 13.

    \[p(\gamma_i )=lim_{\zeta\rightarrow 0}⁡〖\Gamma(\gamma_i|\zeta,0)〗\]

Kita bisa memperoleh sebuah sampel dari distribusi prior dari tiap w_i secara independen pertama dengan memperoleh sampel \gamma_i dari sebuah distribusi Γ(ζ,0) ketika ζ→0 dan kemudian sampling sebuah Normal(0,\gamma_i).

Model Derau Observasi untuk Rekonstruksi CS

Derau observasi bersifat independen dan Gaussian dengan rataan nol dan variansi senilai \beta^{-1}, yaitu, dengan persamaan (2),
Pers 6.

    \[p(y|w,\beta)=N(y|\Phi w,\beta^{-1})\]

Dengan sebuah prior Gamma yang ditempatkan pada β sebagai berikut:
Pers 7.

    \[p(\beta|a^\beta,b^\beta )=\Gamma(\beta|a^\beta,b^\beta )\]

Distribusi gamma didefinisikan sebagai
Pers 8.

    \[\Gamma(\xi|a^\xi,b^\xi )=\frac{(b^\xi )^{a^\xi }}{\Gamma(a^\xi )}  \xi^{a^\xi-1}  exp⁡(-b^\xi \xi)\]

Di mana ξ>0 menandakan sebuah hyperparameter b^\xi>0 adalah parameter sekala, dan a^\xi>0 adalah parameter bentuk. Rataan dan variansi dari ξ ditentukan sebagai berikut
Pers 9.
Continue reading

Pengantar Pemodelan Bayesian

Dalam pemodelan bayesian, semua yang tidak diketahui diperlakukan sebagai kuantitas stokastik dengan distribusi probabilitas yang diberikan. Sinyal yang tidak diketahu w diberikan sebuah distribusi prior p(w|γ), yang memodelkan pengetahuan kita terhadap sifat dari w. pengamatan y juga merupakan sebuah proses acak dengan distribusi bersyarat p(y|w,β), dimana \beta=1/\sigma^2 adalah variansi derau invers. Distribusi ini tergantung pada parameter model γ dan β, yang mana disebut hyperparameter, dan distribusi prior tambahan, yang disebut hyperprior, yang diberikan pada parameter tersebut.
Pemodelan Bayesian dari permasalahan rekonstruksi Compressive Sensing(CS) membutuhkan definisi distribusi joint p(w,γ,β,y) dari semua kuantitas yang tidak diketahui dan diamati. Pada pembahasan ini, kita gunakan faktorisasi berikut:
Pers 5.
p(w,γ,β,y)=p(y│w,β)p(w│γ)p(γ)p(β)

Dampak Penemuan BJT

Penemuan BJT pada 1948 di Laboratorium Bell Telephone telah mengantarkan dala era rangkaian mantap, yang mana mengarah pada perubahan elektronis terhadap cara kita bekerja, bermain, dan tentu saja , hidup. Penemuan BJT juga pada akhirnya mengarah pada dominasi teknologi informasi dan masuknya ekonomi berbasis pengetahuan.
Transistor dua kutub menikmati hampir tiga dekade sebagai perangkan pilihan baik dalam rangkaian diskrit dan terpadu.
Walaupun MOSFET telah dikenal sejak awal, tidak sampai 1970an dan 1980an bahwa MOSFET terlah menjadi saingan BJT. Sejak 2009, MOSFET tanpa diragukan menjadi perangkat elektronik yang secara luas digunakan, dan teknologi CMOS sebagai teknologi pilihan dalam perancangan rangkaian terpadu. Walaupun begitu, kehandalan rangkaian BJT tetap merupakan sebuah perangkat penting yang handal dalam beberapa aplikasi. Sebagai contoh, kehandalan rangkaian BJT di bawah kondisi lingkungan yang parah membuat rangkaian BJT sebagai perangkat dominan dalam beberapa aplikasi otomotif.
BJT tetap menjadi populer dalam perancangan rangkaian diskrit, yang mana sebuah pilihan yang sangat luas dari jenis BJT tersedia untuk para perancang. Di sini, kita harus menyebutkan bahwa karakteristik dari transistor dua kutub juga sangat dipahami dengan baik yang perancang bisa merancang rangkaian transistor yang unjuk kerjanya cukup bisa ditebak dan cukup tidak peka terhadap variasi parameter perangkat.
Continue reading

Pengantar BJT sebagai perangkat dengan Tiga Terminal

Dalam bagian ini kita mengkaji perangkat tiga terminal utama lainnya: Bipolar Junction Transistor (BJT). Perangkat tiga terminal jauh lebih berguna dari pada perangkat dua terminal, mulai dari penguatan sinyal untuk perancangan logika digital dan rangkaian memori. Prinsip dasar yang dilibatkan adalah penggunaan tegangan antara dua terminal untuk mengendalikan aliran arus dalam terminal ke tiga. Dengan cara ini, sebuah perangkat tiga terminal bisa digunakan untuk merealisasikan sebuah sumber terkendali, yang mana telah kita ketahui sebagai dasar untuk perancangan amplifier. Juga, dalam ekstrimnya, sinyal kendali bisa digunakan untuk menyebabkan arus dalam terminal ke tiga berubah dari 0 ke sebuah nilai besar, yang kemudian memungkinkan perangkat untuk berlaku sebagai saklar. Saklar adalah dasar dari realisasi untuk inverter logika, elemen dasar dari rangkaian digital.

Laplace Prior untuk rekonstruksi Sinyal

Dalam paper ini, kita juga merumuskan permasalahan rekontruksi CS dari sebuah sudut pandang Bayesian. Kita menggunakan sebuah model bayesian untuk permasalahan CS dan mengusulkan penggunakan Laplace Prior pada basis koefisien dalam sebuah perilaku hirarkis. Seperti yang akan ditunjukkan, untuk formulasi kita termasuk formulasi RVM sebagai sebuah kasus khusus, namun hasil dalam kesalahan rekonstruksi yang lebih kecil sembari menekan kerenggangan pada sebuah pengembangan yang lebih tinggi. Terlebih lagi, kita menyediakan sebuah prosedur interferensi Bayesian yang mana menghasilkan dalam sebuah algoritma konstruktif greedy. Perumusan kita secara alami mendayagunakan kelebihan dari kerangka kerja Bayes, seperti menyediakan distribusi posterior dari pada estimasi titik, dan oleh karena itu, menyediakan sebuah perkiraan dari ketidakpastian dalam rekonstruksi, yang mana sebagai contoh, bisa digunakan sabagai mekanisme umpan balik untuk mengadaptasi proses akuisisi.
Lebih jauh lagi, algoritma yang dihasilkan secara penuh terotomasi karena semua parameter model yang dibutuhkan diestimasi bersamaan dengan koefisien sinyal yang tak dikenal w. hal ini kontras dengan sebagian besar metode yang ada dalam literatur yang mana memasukkan sejumlah parameter untuk disesuaikan secara khusus dengan data, yang mana merupakan proses yang melelahkan. Kita akan mendemonstrasikan dengan hasil percobaan yang walaupun sepenuhnya terotomasi, algoritma yang diajukan menyediakan unjuk kerja rekonstruktif yang kompetitif dan bahkan lebih tinggi dari metode terbaru.

Dalam paper ini, kita juga merumuskan permasalahan rekontruksi CS dari sebuah sudut pandang Bayesian. Kita menggunakan sebuah model bayesian untuk permasalahan CS dan mengusulkan penggunakan Laplace Prior pada basis koefisien dalam sebuah perilaku hirarkis. Seperti yang akan ditunjukkan, untuk formulasi kita termasuk formulasi RVM sebagai sebuah kasus khusus, namun hasil dalam kesalahan rekonstruksi yang lebih kecil sembari menekan kerenggangan pada sebuah pengembangan yang lebih tinggi. Terlebih lagi, kita menyediakan sebuah prosedur interferensi Bayesian yang mana menghasilkan dalam sebuah algoritma konstruktif greedy. Perumusan kita secara alami mendayagunakan kelebihan dari kerangka kerja Bayes, seperti menyediakan distribusi posterior dari pada estimasi titik, dan oleh karena itu, menyediakan sebuah perkiraan dari ketidakpastian dalam rekonstruksi, yang mana sebagai contoh, bisa digunakan sabagai mekanisme umpan balik untuk mengadaptasi proses akuisisi.

Lebih jauh lagi, algoritma yang dihasilkan secara penuh terotomasi karena semua parameter model yang dibutuhkan diestimasi bersamaan dengan koefisien sinyal yang tak dikenal w. hal ini kontras dengan sebagian besar metode yang ada dalam literatur yang mana memasukkan sejumlah parameter untuk disesuaikan secara khusus dengan data, yang mana merupakan proses yang melelahkan. Kita akan mendemonstrasikan dengan hasil percobaan yang walaupun sepenuhnya terotomasi, algoritma yang diajukan menyediakan unjuk kerja rekonstruktif yang kompetitif dan bahkan lebih tinggi dari metode terbaru.

Mean and Varian dari Distribusi Uniform Kontinyu

Untuk Distribusi peluang uniform dari A ke B, artinya semua peluang munculnya X berada di antara A dan B adalah sama yaitu \frac{1}{B-A}

Mean dari distribusi uniform adalah

    \[\mu=\frac{A+B}{2}\]

dan variansi dari distribusi uniform adalah

    \[\sigma^2=\frac{(B-A)^2}{12}\]