Regresi Linier Sederhana

Pengertian Model Regresi

Analisis regresi adalah suatu teknik statistik yang menggunakan hubungan antara dua variabel atau lebih untuk mendapatkan garis yang fit sehingga satu variabel dapat diprediksi atau diestimasi berdasarkan variabel lainnya.

Misal, jika seseorang mengetahui hubungan antara biaya iklan dengan penjualan, maka orang tersebut dapat memprediksi hasil penjualan dengan menggunakan analisis regresi jika pengeluaran iklan sudah ditentukan.

Tujuan model regresi ini adalah untuk mendapatkan suatu bentuk hubungan antara variabel yang akan diestimasi (dependent variable) dengan variabel bebas (independent variable) dan menggunakan model tersebut untuk mengestimasi nilai dari variabel yang akan di estimasi.

Misal seorang manajer ingin melihat hubungan antara biaya iklan perusahaannya dengan hasil penjualan perusahaannya, ingin menguji hipotesis bahwa dengan bertambahnya biaya iklan, maka hasil penjualannyapun akan bertambah dan lebih jauh ingin memperkirakan/estimasi seberapa kuat hubungannya.

Model regresi mengasumsikan bahwa faktor-faktor yang diramal menunjukkan adanya suatu hubungan sebab akibat (cause-effect relationship) dengan satu atau lebih variabel bebas (independent variable).

Model causal lebih digunakan untuk pengambilan keputusan (decision making) dan kebijaksanaan (policy).  Konsep sebuah hubungan antara dua variabel, kita kenal dengan hubungan fungsional dan hubungan statistik. Sebuah hubungan fungsional antara dua variabel dinyatakan dengan sebuah formula matematika.

Jika X adalah variabel bebas (independent variable) dan Y adalah variabel tidak bebas (dependent variable), sebuah hubungan fungsional dapat ditulis sebagai berikut:

                                                Y = f(X)

untuk nilai X tertentu, fungsi f merupakan nilai dari Y

Contoh:

Hubungan antara hasil penjualan (Y) dengan jumlah unit yang terjual (X).  Jika harga penjualan adalah Rp 2.000 per unit, dan hubungan diatas dinyatakan dengan persamaan  Y = 2X, maka hubungan fungsional ini dapat ditunjukan seperti pada tabel 1 dibawah ini:

Tabel 1

Sebuah hubungan statistik tidak seperti hubungan fungsional, hubungan ini tidaklah sempurna (exact).  Secara umum observasi-observasi untuk sebuah hubungan statistik tidak berada (jatuh) tepat pada garis hubungan.

Pada Gambar.1. terlihat adanya hubungan antara jumlah produksi dengan lamanya jam kerja. Makin besar produksi makin lama jam kerjanya. Namun jika kita perhatikan, hubungan tersebut bukanlah merupakan hubungan yang sempurna. Disana terlihat adanya sebaran, adanya variasi jam kerja pada tiap-tiap jumlah produksi, seperti pada X=30 dan X=80.  Oleh karena adanya sebaran titik-titik pada sebuah hubungan statistik, maka plot tersebut disebut diagram pencar/sebaran (scatter diagram) dalam istilah statistik.  Jika kita buat garis hubungan yang menyatakan hubungan secara statistik antara lamanya jam kerja dengan jumlah produksi seperti terlihat pada Gambar.1, sebagian besar titik-titik tersebut tidak berada tepat pada garis.

Sebaran titik-titik disekitar garis mewakili variasi pada jam kerja yang tidak berhubungan (tidak dipengaruhi) oleh jumlah produksi dan ini cenderung disebabkan karena sifat random (acak) secara alamiah. Hubungan statistik tetap berguna meskipun tidak adanya hubungan fungsional yang secara tepat (exact). Sebaran titik-titik sekitar garis hubungan itulah yang merupakan ciri-ciri dari sebuah hubungan statistik. Dari gambar 2  terlihat bahwa rata-rata dari distribusi probabilita mempunyai hubungan yang sistematik pada level X.

Hubungan sistematik inilah yang dikatakan fungsi regresi dari Y terhadap X.  Garis dari fungsi regresi ini disebut garis regresi. Fungsi regresi diatas adalah linier.  Berdasarkan contoh diatas dapat kita katakan bahwa rata-rata harapan (expected mean) lama jam kerja berubah-ubah secara linier dengan jumlah produksi.

Sebuah model regresi adalah:

-  sebuah distribusi probabilita dari Y untuk setiap level X

-  Rata-rata dari distribusi-distribusi probabilita tersebut  berbeda dalam bentuk yang sistematis dengan X.

Model regresi mungkin saja terdiri dari lebih dari satu variabel bebas, misal dengan dua variabel bebas X1 dan X2.  Hubungan antara rata-rata dari distribusi probabilita ini dengan variabel bebas (X1 dan X2) ditentukan dalam sebuah regresi permukaan (surface) dalam suatu bidang tiga dimensi.

Pada kenyataannya dalam membuat sebuah model, hanya beberapa variabel bebas tertentu yang dapat digunakan pada sebuah model regresi pada situasi tertentu.  Masalah pokok disini adalah pemilihan variabel bebas untuk model regresi sehingga model tersebut dapat digunakan dengan baik untuk kepentingan analisa. Yang perlu diperhatikan dalam pemilihan variabel bebas ini adalah:

1. Variabel-variabel yang akan terpilih dalam model harus dapat mengurangi variasi yang tersisa pada variabel tidak bebas Y.
2. Variabel yang terpilih adalah variabel yang penting dalam proses analisis.
3. Tingkat keakuratan dalam mendapatkan variabel-variabel tersebut.

Korelasi Pearson

Statistik ini merupakan suatu ukuran asosiasi atau hubungan  yang dapat digunakan untuk menyatakan besar hubungan linier antara dua variabel ketika data adalah data kuantitatif (data berskala interval atau rasio) dan kedua variabel adalah bivariat yang berdistribusi normal, sedangkan statistik untuk mengukur hubungan dua variabel yang bersifat kualitatif dengan skala ordinal dapat menggunakan korelasi Spearman (materi ini dibahas pada pertemuan kesembilan. selain untuk melihat besar hubungan antar dua variable kualitatif, korelasi ini juga dapat digunakan untuk menguji aumsi kesamaan varians). Simbol korelasi pada ukuran populasi adalah    ρ  (dibaca: rho) dan pada ukuran sampel adalah r.  Formula untuk korelasi Pearson adalah sebagai berikut:

Besar hubungan linier antara produksi dan jam kerja karyawan pada perusahaan industri tersebut adalah sebesar 0,9978 atau sebesar 99,78 persen. Jika nilai korelasi dikuadratkan akan didapat suatu nilai yang menyatakan besarnya pengaruh variasi suatu variabel terhadap variabel lainnya. Nilai tersebut biasa disebut dengan koefisien determinasi (r²) (coefficient of determination). Koefisien determinasi mempunyai range nilai berkisar antara 0 sampai 1 .  Dalam hal contoh diatas, variasi produksi mempunyai pengaruh sebesar 99,56 persen terhadap variasi jam kerja karyawan pada perusahaan tersebut.

Bentuk model regresi linier sederhana

Model regresi linier dengan satu variabel bebas adalah sebagai berikut:

Model regresi pada persamaan (1) di atas disebut model regresi linier sederhana, Sederhana karena hanya menggunakan satu variabel bebas.  Linier karena linier dalam parameter dan juga dalam variabel bebasnya.  Parameter β₀ adalah konstanta (intercept) dari garis regresi.  β₀ dapat berarti nilai dari rata-rata distribusi probabilita Y pada X = 0.  Namun jika model tidak mencakup X = 0, β₀ tidak mempunyai arti apa-apa secara terpisah dalam model regresi.  Parameter β₁ adalah kemiringan (slope) dari garis regresi yang merupakan suatu perubahan dari rata-rata distribusi probabilita Y dengan bertambahnya 1 unit X.    Nilai observasi Y dalam percobaan ke –i adalah jumlah dari 2 komponen :

ε_i dan ε_j  diasumsikan tidak berkorelasi, sehingga respon Y_i dan Y_j  juga tidak berkorelasi.  Asumsi standar adalah bahwa error independen, mempunyai rata-rata nol dan konstan varians σ² serta mengikuti distribusi normal.  Asumsi terakhir diperlukan untuk membuat uji F dapat digunakan. Jika model yang dipilih benar, maka residual harus menunjukkan kecenderungan mengikuti asumsi atau setidaknya tidak bertentangan dengan asumsi.

Metode kuadrat terkecil secara khusus menggunakan jumlah dari kuadrat deviasi.  Jika kriteria ini dilambangkan dengan Q, maka Q ditulis sebagai berikut:

Menurut metoda kuadrat terkecil, dengan meminimumkan Q maka akan didapat estimator dari β₀ dan β₁ yaitu b₀ dan b₁.  Secara matematik untuk mendapatkan nilai minimum dilakukan differensiasi terhadap Q secara parsial terhadap β₀ dan β₁ kemudian disamakan dengan nol.

Apapun bentuk fungsional dari distribusi ε_i  ( begitu juga Y_i) metode kuadrat terkecil (Least Square Method) memberikan estimator b₀ dan b₁  yang tidak bias (unbiased) dan mempunyai varians minimum diantara semua unbiased linear estimator (teorema Gauss-Marcov). Untuk membuat interval dari estimates dan melakukan uji, perlu dibuat suatu asumsi tentang bentuk fungsional dari distribusi ε_i .  Asumsi standar adalah error berdistribusi normal. Sedikit penyimpangan dari kenormalan tidaklah menyebabkan masalah yang serius. Namun penyimpangan yang jauh dari kenormalan haruslah diperhatikan. Kenormalan dari random error dapat dipelajari dengan melihat beberapa grafik dari residu. Box plot sangat membantu untuk mendapatkan informasi tentang kesimetrisan dari residu dan kemungkinan adanya pencilan (outliers).  Selain box plot, kita juga dapat membuat histogram, diagram pencar, atau plot batang daun dari residu untuk melihat penyimpangan dari kenormalan secara umum.  Namun untuk itu diperlukan jumlah sampel yang cukup besar untuk studi regresi agar dapat memberikan informasi yang baik tentang bentuk distribusi dari random error.  Cara lain untuk melihat kenormalan adalah dengan uji Lilliefors atau dengan uji kecocokan/kesesuaian (goodness of fit test).  Jika asumsi tidak terlanggar dapat dikatakan bahwa dasar data yang digunakan sudah benar.