Inferensi Bayesian & Distribusi Prior-Posterior

1. Apa itu Inferensi Bayesian

Inferensi Bayesian adalah cara untuk memperbarui keyakinan kita tentang suatu hal berdasarkan data baru yang kita amati. Dalam pendekatan ini, kita tidak hanya mengandalkan data yang kita miliki saat ini, tetapi juga mempertimbangkan informasi atau keyakinan sebelumnya. Keyakinan awal ini disebut sebagai prior (Gelman et al., 2013).

Misal, Ahli meteorologi memiliki keyakinan awal tentang probabilitas hujan, berdasarkan pola cuaca historis atau model iklim.

Setelah kita mengamati data baru, kita menggunakan Teorema Bayes untuk memperbarui keyakinan awal tersebut sehingga kita mendapatkan keyakinan baru yang lebih akurat, yang disebut posterior (Hoff, 2009). Dengan kata lain, Inferensi Bayesian memungkinkan kita untuk secara sistematis memperbaiki pemahaman kita berdasarkan bukti yang terus bertambah.

Sederhananya, Inferensi Bayesian bekerja dalam tiga langkah:

1. Sebelum melihat data → Kita memiliki dugaan awal atau informasi awal yang disebut prior. Prior ini bisa berdasarkan pengalaman, penelitian sebelumnya, atau hanya asumsi awal yang kita miliki.
2. Mengamati data baru → Data yang kita amati memiliki pola tertentu, dan kita bisa menghitung kemungkinan terjadinya data tersebut berdasarkan dugaan kita. Hal ini disebut sebagai likelihood.
3. Memperbarui keyakinan dengan Teorema Bayes → Setelah menggabungkan prior dengan informasi dari data (likelihood), kita mendapatkan keyakinan yang diperbarui, yang disebut posterior.

Gambar 1. Ilustrasi bagaimana Prior diperbarui menjadi Posterior melalui Likelihood menggunakan Teorema Bayes.

Teorema Bayes menyatakan bahwa:

Dimana:

 = Prior (keyakinan awal sebelum melihat data)

 = Likelihood (Seberapa besar kemungkinan data yang diamati terjadi jika  benar

 = Evidence (Total kemungkinan data terjadi, berfungsi sebagai faktor normalisasi)

 = Posterior (Keyakinan yang diperbarui setelah melihat data baru) (Robert, 2007)

Contoh Sederhana dalam Kehidupan Sehari-hari

Untuk memudahkan pemahaman kita, lihatlah contoh sederhana yang biasa terjadi dalam kehidupan sehari-hari. Misalkan, kita ingin mengetahui apakah hari ini akan hujan. Sebelum melihat kondisi cuaca saat ini, kita sudah memiliki dugaan awal bahwa kemungkinan hujan adalah 30%, berdasarkan kondisi cuaca yang telah terjadi di hari-hari sebelumnya. Nah, dugaan inilah yang disebut prior.

Namun, ketika kita keluar rumah dilihatlah awan mendung. Dari pengalaman sebelumnya, dapat diketahui bahwa jika mendung, kemungkinan hujan meningkat. Katakanlah, berdasarkan data cuaca sebelumnya, 70% dari hari yang mendung berakhir dengan hujan. Ini adalah likelihood, yaitu kemungkinan data yang diamati terjadi jika hujan benar-benar akan turun. Sekarang, kita menggunakan Teorema Bayes untuk memperbarui keyakinan awal kita dengan informasi baru ini. Setelah perhitungan, kita mungkin menemukan bahwa dengan adanya awan mendung, kemungkinan hujan naik dari 30% menjadi 60%. Keyakinan baru ini disebut posterior informasi yang lebih akurat setelah mempertimbangkan data terbaru.

2. Perbedaan Bayesian vs. Frekuentis

Pendekatan Bayesian sangat berbeda dari pendekatan statistik frekuentis yang lebih umum digunakan dalam statistik klasik. Perbedaan dari pendekatan Bayesian dan Frekuentif dapat dilihat dalam tabel berikut:

Aspek	Frekuentis	Bayesian
Konsep Parameter	Parameter dianggap tetap dan tidak memiliki distribusi.	Parameter dianggap sebagai variabel acak dengan distribusi probabilitas (McElreath, 2020).
Sumber Keyakinan	Hanya menggunakan data yang diamati.	Menggunakan data yang diamati dan informasi awal (prior) (Gelman et al., 2013).
Inferensi	Menggunakan estimator titik (misal, MLE).	Menghasilkan distribusi posterior dari parameter.
Pengaruh Data Baru	Tidak ada pembaruan dari estimasi sebelumnya.	Keyakinan diperbarui setiap kali ada data baru (Murphy, 2012).
Contoh	Uji hipotesis klasik (p-value).	Bayesian Updating dengan Teorema Bayes.

Berdasarkan penjelasan tabel di atas, diketahui bahwa pendekatan Bayesian lebih fleksibel karena estimmasinya akan diperbarui setiap kali data baru muncul, sedangkan frekuentis cenderung hanya mengandalkan sampel saat ini tanpa mempertimbangkan informasi sebelumnya.

3. Distribusi Prior, Likelihood, dan Posterior

Inferensi Bayesian bergantung pada tiga komponen utama:

a. Prior: Keyakinan Awal Sebelum Data Dilihat

Prior mencerminkan kepercayaan awal sebelum melihat data.

Contoh:
Misalkan kita ingin memperkirakan probabilitas seseorang memiliki suatu penyakit. Jika kita tahu bahwa hanya 1% dari populasi yang memiliki penyakit ini, maka kita bisa menggunakan prior yang mencerminkan informasi tersebut (Hoff, 2009).

b. Likelihood: Pengaruh Data Baru

Likelihood menunjukkan seberapa besar kemungkinan data yang diamati jika suatu hipotesis benar (Robert, 2007).

Contoh: Jika kita melakukan tes medis pada 100 orang dan menemukan bahwa 10 di antaranya positif, kita dapat menghitung likelihood berdasarkan distribusi probabilitas seperti distribusi Binomial atau Normal.

c. Posterior: Keyakinan Setelah Melihat Data

Setelah kita menggabungkan prior dan likelihood dengan aturan Bayes, kita mendapatkan distribusi posterior, yang menggambarkan keyakinan kita setelah melihat data baru (Gelman et al., 2013).

Gambar 2. Perbandingan Prior, Likelihood, dan Posterior dalam inferensi Bayesian

4. Memilih Prior yang Baik

Cara Memilih Prior yang Baik dalam Analisis Bayesian

1. Kekuatan Informasi Awal

• Jika memiliki keyakinan kuat tentang parameter, gunakan prior yang sempit (misalnya Distribusi Normal dengan varians kecil).
• Jika informasi awal lemah, gunakan prior yang lebih luas atau tidak informatif (misalnya Distribusi Uniform atau Jeffreys Prior).
• Contoh: Jika kita yakin tinggi rata-rata manusia sekitar 170 cm dengan variasi kecil, kita bisa menggunakan prior Normal(170, 5²).

2. Kesesuaian dengan Distribusi Likelihood (Konjugasi)

• Jika memungkinkan, gunakan prior konjugat untuk menyederhanakan perhitungan.
• Contoh:

=> Distribusi Beta untuk likelihood Binomial.

=> Distribusi Normal untuk likelihood Normal.

=> Distribusi Gamma untuk likelihood Poisson.

3. Efisiensi Komputasi

• Jika keterbatasan komputasi ada, pilih prior yang lebih sederhana seperti Normal atau Beta, yang memiliki bentuk matematis tertutup.
• Jika komputasi bukan masalah, bisa menggunakan prior non-konjugat seperti Distribusi Laplace atau t-Student untuk kasus tertentu.

4. Konsistensi dengan Pengetahuan Domain

• Pastikan prior sesuai dengan asumsi dan informasi di bidang yang diteliti.
• Contoh: Dalam epidemiologi, probabilitas seseorang sakit mungkin lebih cocok dengan Distribusi Beta karena selalu bernilai antara 0 dan 1.

5. Jenis Prior: Informatif vs. Tidak Informatif

• Prior Informatif: Digunakan jika ada informasi awal yang spesifik.

Contoh: Normal(μ,σ²) untuk tinggi badan berdasarkan penelitian sebelumnya.

• Prior Tidak Informatif: Digunakan jika ingin meminimalkan pengaruh asumsi awal.

Contoh: Jeffreys Prior atau Uniform(0,1) untuk probabilitas yang tidak diketahui.

6. Analisis Sensitivitas

• Lakukan uji kepekaan dengan mencoba beberapa jenis prior dan melihat pengaruhnya terhadap hasil akhir.
• Contoh: Coba gunakan Distribusi Normal dengan varians berbeda, lalu lihat bagaimana perubahan distribusi posteriornya.

Kesimpulan

1) Prior yang baik harus mempertimbangkan informasi awal, kesesuaian dengan likelihood, efisiensi komputasi, dan pengetahuan domain.

2) Jenis distribusi prior yang sering digunakan:

• Normal → Cocok untuk variabel kontinu seperti tinggi badan.
• Beta → Cocok untuk probabilitas (antara 0 dan 1), misalnya proporsi orang sakit.
• Gamma → Cocok untuk waktu tunggu atau tingkat kejadian (Poisson).
• Uniform → Digunakan untuk prior tidak informatif jika tidak ada informasi awal.

5. Contoh Perhitungan Bayesian Sederhana

Misalkan kita ingin memperkirakan probabilitas sukses sebuah mesin industri.

Diketahui:

• Prior: Kita percaya sebelum mengamati data bahwa probabilitas sukses berkisar 0.4 hingga 0.6, dan menggunakan distribusi Beta(2,2).
• Data: Setelah menguji 10 mesin, kita menemukan bahwa 7 berhasil dan 3 gagal.
• Posterior:

Dalam kasus Beta-Binomial, posterior juga mengikuti distribusi Beta dengan parameter yang diperbarui sebagai:

Di mana:

• α = 2 (dari prior Beta(2,2))
• β = 2 (dari prior Beta(2,2))
• x = 7 (jumlah sukses)
• n = 10

Maka posterior menjadi:

Artinya, setelah melihat data, kita lebih yakin bahwa probabilitas sukses lebih tinggi dari yang kita duga sebelumnya (Gelman et al., 2013).

Referensi:

• Gelman, A., Carlin, J. B., Stern, H. S., Dunson, D. B., Vehtari, A., & Rubin, D. B. (2013). Bayesian Data Analysis (3rd ed.). Chapman & Hall/CRC.
• https://gamastatistika.com/2024/01/03/analisis-bayesian-cara-dalam-pemilihan-distribusi-prior/
• Hoff, P. D. (2009). A First Course in Bayesian Statistical Methods. Springer.
• Robert, C. P. (2007). The Bayesian Choice: From Decision-Theoretic Foundations to Computational Implementation (2nd ed.). Springer.
• McElreath, R. (2020). Statistical Rethinking: A Bayesian Course with Examples in R and Stan (2nd ed.). CRC Press.
• Murphy, K. P. (2012). Machine Learning: A Probabilistic Perspective. MIT Press.