Regresi Bayesian

1. Pengantar regresi dalam konteks Bayesian.

Regresi adalah salah satu teknik statistik paling populer untuk memodelkan hubungan antara variabel dependen dan independen (Gelman et al., 2013). Dalam pendekatan Bayesian, regresi tidak hanya memberikan estimasi parameter tetapi juga distribusi probabilitas yang mencerminkan ketidakpastian dari parameter tersebut (McElreath, 2020).

Konsep Dasar:

• Inferensi Bayesian menggunakan teorema Bayes untuk mengupdate probabilitas parameter berdasarkan data (Kruschke, 2014).
• Prior mewakili keyakinan awal tentang parameter sebelum melihat data  (Puza, 2015).
• Posterior adalah distribusi parameter setelah mengamati data, menggabungkan prior dan likelihood (Gelman et al., 2013).

2. Perbedaan regresi Bayesian dan regresi klasik.

Parameter regresi Bayesian dianggap random dengan distribusi posterior, sementara regresi klasik menganggap parameter tetap (McElreath, 2020). Ketidakpastian dalam Bayesian dilaporkan sebagai distribusi probabilitas, berbeda dengan interval konfidensi pada pendekatan frekuentis (Kruschke, 2014).

Keunggulan Regresi Bayesian (Gelman et al., 2013; Puza, 2015):

1. Memungkinkan penggunaan pengetahuan sebelumnya (prior).
2. Menghasilkan estimasi yang lebih robust dengan data kecil.
3. Memberikan interval kredibel yang lebih intuitif daripada interval konfidensi.

3. Regresi Linear Bayesian: Model, prior, likelihood, dan posterior.

Model Regresi Linear Sederhana:

dengan

 (McElreath, 2020)

Komponen Bayesian:

• Prior (Kruschke, 2014):

Misal:

• Likelihood:

(Gelman et al., 2013)

• Posterior:

(McElreath, 2020)

Dimana posterior diestimasi menggunakan metode, seperti Markov Chain Monte Carlo (MCMC) atau Variational Inference.

4. Contoh regresi Bayesian sederhana dengan dataset nyata.

Misal dengan menggunakan dataset Boston Housing, dimana variabel dependennya adalah harga rumah dan independennya adalah jumlah kamar . Adapun tahapan analisisnya adalah sebagai berikut:

1. Tentukan prior untuk dan .
2. Hitung likelihood berdasarkan data.
3. Estimasikan posterior menggunakan MCMC.

Berikut adalah penyelesainnya:

1. Penentuan Prior

• Intercept

Dimana keyakinan awal bahwa intercept mendekati 0 dengan deviasi besar (karena skala harga rumah dalam ribuan USD).

• Koefisien rm

Dimana setiap kamar diperkirakan menaikkan harga rumah sekitar 5.000 USD dengan deviasi 3. Prior ini dipilih berdasarkan pengetahuan umum bahwa lebih banyak kamar seharusnya meningkatkan harga rumah.

• Error

Dimana distribusi positif dengan rata-rata 2 untuk menghindari nilai negatif. Prior untuk menggunakan eksponensial karena mewakili ketidakpastian residual yang harus positif.

2. Likelihood berdasarkan data

Likelihood dihitung dari distribusi normal data terhadap prediksi model:

Contoh perhitungan manual untuk observasi pertama:

• Data: rm = 6,575, medv = 24

• Prediksi model:

• Likelihood:

Likelihood ini dapat dihitung secara otomatis untuk seluruh data dengan menggunakan fungsi .

1. Estimasi posterior dengan MCMC

Adapun secara keseluruhan cara implementasi regresi Bayesian di R Studio dapat menggunakan package seperti berikut:

Syntax

Output

Interpretasi:

1. Intercept

Nilai mean = -40,5 menunjukkan nilai mean posterior -40.500 USD,  dimana ketika rm = 0 maka harga rumah diperkirakan -40.500 USD (tidak masuk akal secara praktis, tetapi merupakan bentuk ekstrapolasi di luar rentang data), dengan ketidakpastian (sd = 12,1) menunjukkan intercept sulit diestimasi karena rentang sd yang lebar.

2. Koefisien rm

Nilai mean = 10 menunjukkan nilai mean posterior 10.000 USD,  dimana ketika rm = 0 maka harga rumah diperkirakan 10.000 USD dengan ketidakpastian (sd = 2,0) yang menunjukkan koefisien yang signifikan, tetapi tidak mencakup 0 (efek positif jelas).

3. Error

Nilai mean = 4,0 menunjukkan nilai mean posterior 4.000 USD,  dimana ketika rm = 0 maka harga diperkirakan 4.000 USD yang menunjukkan variabilitas harga yang tidak dijelaskan oleh model.

4. Nilai mean_PDD = 21,3 dengan sd = 1,4 menunjukkan rata-rata prediksi model mendekati rata-rata aktual, yakni yang menunjukkan kesesuaian model.

Referensi:

Gelman, A., Carlin, J. B., Stern, H. S., Dunson, D. B., Vehtari, A., & Rubin, D. B. (2013). Bayesian Data Analysis (3rd ed.). CRC Press.

Kruschke, J. K. (2014). Doing Bayesian Data Analysis: A Tutorial with R, JAGS, and Stan (2nd ed.). Academic Press.

McElreath, R. (2020). Statistical Rethinking: A Bayesian Course with Examples in R and Stan (2nd ed.). CRC Press.

Puza, Borek. (2015). Bayesian Methods for Statistical Analysis. ANU Press.