1. Bayesian Decision Theory: Bagaimana Bayesian digunakan dalam pengambilan keputusan?
Metode Bayes merupakan salah satu metode pengambilan keputusan yang telah banyak dipakai, metode ini dikembangkan untuk menyelesaikan masalah pengambilan keputusan dengan menentukan nilai peluang dari kejadian dan nilai evidence (bukti) yang didapat dari fakta tentang objek yang diteliti (Diana, 2017). Pengambilan keputusan dengan metode ini membutuhkan informasi probabilitas setiap alternatif pada persoalan yang dihadapi untuk menghasilkan nilai harapan sebagai dasar pengambilan keputusan (Diana, 2017). Dalam menyelesaikan permasalahan, pengambilan keputusan biasanya telah memiliki informasi awal, baik data kualitatif maupun data kuantitatif. Data awal inilah yang menjadi landasan pembuatan keputusan (Diana, 2017).
2. Konsep Loss Function dan Utility Function
a. Loss Function
Loss Function bertujuan untuk membandingkan nilai hasil prediksi dengan nilai target atau nilai yang sebenarnya. Ada beberapa jenis Loss Function diantaranya Mean Square Error (MSE) dan Cross Entropy (CE). Namun dalam praktiknya, CE lebih cepat dalam konvergensi dan mendapatkan hasil lebih baik dalam tingkat kesalahan klasifikasi (Cross-Entropy Loss Function in Machine Learning, DataCamp, 2024). Persamaan Cross Entropy dapat dilihat sebagai berikut.
b. Utility Function
Utility Function digambarkan oleh kurva indifiren (indefference curve). Kurva indiferensi digambarkan dengan bentuk yang cembung terhadap titik origin. Kemiringannya dari kiri atas ke kanan bawah. Hal ini karena aksioma rasionalitas lebih banyak akan lebih baik (Indifference Curves in Economics: What Do They Explain?, Investopedia). Semua kombinasi titik pada kurva indiferensi yang sama memiliki tingkat kepuasan yang sama. Seperti pada kurva berikut:
Contoh Kurva Indiferensi
Dalam kurva indiferensi, semakin tinggi tingkat kepuasan seseorang, semakin tinggi pula kurva indiferensinya. Secara grafis, tingkat kepuasannya yang lebih tinggi digambarkan dengan tingkat kepuasan yang letaknya di sebelah kanan atas.
3. Contoh Kasus
Pendugaan Regresi linear dengan MLE diasumsikan mengikuti sebaran Normal 
. Akan dicari nilai penduga 
dan 
.
Berikut Syntaxnya:
1. Membuat data simulasi
# Membangkitkan bilangan acak X ~ N(mean=12, sd=4)
data.x <- rnorm(n = 50, mean = 12, sd = 4)
# Membangkitkan nilai Y dengan menentukan nilai B0 adalah 8 dan B1 adalah 3
B0 <- 8
B1 <- 3
# Menentukan error dari data dengan sd=1
error.sd <- 1
error <- rnorm(n = 50, mean = 0, sd = 1)
data.y <- B0 + B1 * data.x + error
Keterangan:
Bagian ini membentuk data regresi sederhana:
Dengan B0=8, B1=3, dan 
.
2. Visualisasi data
# Plot
plot(data.x, data.y)
3. Defenisi fungsi likelihood (MLE)
# MLE
lm.loss <- function(parameter){
B0.parameter <- parameter[1] # parameter B0/intercept
B1.parameter <- parameter[2] # parameter B1
error.sigma <- parameter[3] # standar deviasi
# prosedur optimasi: dibuat nilai toleranis jika standar deviasi tidak valid
# misal negatif, maka dikembalikan kepada deviance yang sangat tinggi
if(error.sigma < 0){ deviance <- 10000000}
if(error.sigma > 0){
likelihoods <- dnorm(data.y,
mean = B0.parameter + B1.parameter*data.x,
sd = error.sigma)
log.likelihoods <- log(likelihoods)
deviance <- -2 * sum(log.likelihoods)
}
return(deviance)
}
Keterangan:
Fungsi ini menghitung deviance (-2 log likelihood) dari model regresi linear normal:
Fungsi ini akan dipakai oleh algoritma optimasi untuk mencari parameter terbaik.
4. Estimasi parameter dengan optim
parameter.fits <- optim(par = c(1,1,10),
fn = lm.loss,
hessian = T)
parameter.fits
Keterangan:
optim mencari nilai parameter (B0, B1, sigma) yang meminimalkan deviance sama artinya dengan memaksimalkan likelihood.
- par = c (1,1,10) → tebakan awal untuk B0, B1, sigma.
- hessian = T → agar hasil akhir juga memberikan matriks Hessian (berguna untuk menghitung standard error).
5. Hasil Estimasi
## $par
## [1] 7.5886868 3.0227338 0.9589034
##
## $value
## [1] 137.6989
##
## $counts
## function gradient
## 170 NA
##
## $convergence
## [1] 0
##
## $message
## NULL
##
## $hessian
## [,1] [,2] [,3]
## [1,] 1.087553e+02 1.271158e+03 0.05885061
## [2,] 1.271158e+03 1.769024e+04 0.81771947
## [3,] 5.885061e-02 8.177195e-01 217.52242511
Keterangan:
Estimasi MLE untuk parameter:
-
(dekat dengan 8) -
(dekat dengan 3) -
(dekat dengan 1)
Nilai value = 137.6989 adalah deviance minimal yang dicapai.
Matriks Hessian memberikan informasi tentang variansi-kovarians estimasi.
Referensi
Cross-Entropy Loss Function in Machine Learning. (2024, August 10). DataCamp. Diakses dari https://www.datacamp.com/tutorial/the-cross-entropy-loss-function-in-machine-learning
Dito, G.A. Praktikum Komputasi Statistika. Diakses dari https://bookdown.org/gerryalfadito/praktikum-komputasi-statistika/
Diana. (2017). Sistem Pendukung keputusan Menentukan Lokasi Usaha Waralaba Menggunakan Metode Bayes. Jurnal Ilmiah Matrik, 19(3), 41–52.
Indifference Curves in Economics: What Do They Explain? (n.d.). Investopedia. Diakses dari https://www.investopedia.com/terms/i/indifferencecurve.asp
Ii, B. A. B. (n.d.). the Use of Goods and Service in the Satisfaction of Human Wants ). 28–60.
Maulvi Inayat, A. (2021). Analisis Sentimen Berdasarkan Aspek Menggunakan Elman Recurrent Neural Network. Other Thesis, Universitas Komputer Indonesia., 9–30.
Varian, H. R. (2010). Intermediate microeconomics: A modern approach (8th ed.). W. W. Norton & Company.