Kepiye klasifikasi fitur ing SVM gumantung saka tandha fungsi keputusan (teks {tandha} (mathbf{x}_i cdot mathbf{w} + b))?

/ / Published in Kacerdhasan gawéyan, Sinau Mesin EITC/AI/MLP karo Python, Mesin vektor dhukungan, Dhukungan optimasi mesin vektor, Review ujian

Mesin Vektor Dhukungan (SVM) minangka algoritma pembelajaran sing diawasi kuat sing digunakake kanggo tugas klasifikasi lan regresi. Tujuan utama SVM yaiku nemokake hyperplane optimal sing paling apik misahake titik data saka kelas sing beda-beda ing ruang dimensi dhuwur. Klasifikasi pesawat fitur ing SVM rumiyin disambungake kanggo fungsi kaputusan, utamané tandha, kang peran wigati ing nentokake kang sisih hyperplane titik data tartamtu tumiba ing.

Fungsi Keputusan ing SVM

Fungsi kaputusan kanggo SVM bisa ditulis minangka:

    \[f(\mathbf{x}) = \mathbf{w} \cdot \mathbf{x} + b \]

ngendi:
- \mathbf{w} yaiku vektor bobot sing nemtokake orientasi hyperplane.
- \mathbf{x} yaiku vektor fitur saka titik data sing diklasifikasikake.
- b yaiku istilah bias sing ngganti hyperplane.

Kanggo klasifikasi titik data \mathbf{x}_i, tandha saka fungsi kaputusan digunakake:

    \[ \text{sign}(f(\mathbf{x}_i)) = \text{sign}(\mathbf{w} \cdot \mathbf{x}_i + b) \]

Tandha iki nemtokake sisih hyperplane sing ana titik data.

Peran saka Klasifikasi mlebu

Tanda fungsi keputusan (\text{sign}(\mathbf{w} \cdot \mathbf{x}_i + b)) langsung nemtokake label kelas sing ditugasake menyang titik data \mathbf{x}_i. Mangkene cara kerjane:

1. Tandha Positif: Yen \mathbf{w} \cdot \mathbf{x}_i + b > 0, tandha saka fungsi kaputusan positif. Iki tegese titik data \mathbf{x}_i dumunung ing sisih hyperplane ngendi kelas positif dumunung. Mulane, \mathbf{x}_i diklasifikasikaké minangka kagolong kelas positif (biasane dituduhake minangka +1).

2. Tandha Negatif: Yen \mathbf{w} \cdot \mathbf{x}_i + b < 0, tandha saka fungsi kaputusan negatif. Iki nuduhake yen titik data \mathbf{x}_i dumunung ing sisih hyperplane ngendi kelas negatif dumunung. Mula, \mathbf{x}_i diklasifikasikaké minangka kagolong kelas negatif (biasane dituduhake minangka -1).

3. Zero: Ing kasus langka ngendi \mathbf{w} \cdot \mathbf{x}_i + b = 0, titik data \mathbf{x}_i dumunung persis ing hyperplane. Skenario iki bisa sacara teoritis nanging praktis langka amarga sifat data sing ana regane nyata.

Interpretasi Geometris

Interpretasi geometris saka fungsi kaputusan penting kanggo mangerteni carane SVMs klasifikasi TCTerms data. Hyperplane ditetepake dening \mathbf{w} \cdot \mathbf{x} + b = 0 tumindak minangka wates kaputusan antarane rong kelas. Orientasi lan posisi hyperplane iki ditemtokake dening vektor bobot \mathbf{w} lan istilah bias b.

1. wates: Margin yaiku jarak antarane hyperplane lan titik data sing paling cedhak saka saben kelas. SVM duwe tujuan kanggo nggedhekake wates iki kanggo mesthekake yen hyperplane ora mung misahake kelas nanging uga kanthi jarak paling gedhe saka titik data sing paling cedhak. Titik data sing paling cedhak iki dikenal minangka vektor dhukungan.

2. Dhukungan Vektor: Vektor dhukungan minangka titik data sing paling cedhak karo hyperplane. Dheweke kritis kanggo nemtokake posisi lan orientasi hyperplane. Sembarang owah-owahan ing posisi vektor dhukungan iki bakal ngowahi hyperplane.

Conto

Coba conto prasaja ing ngendi kita duwe ruang fitur rong dimensi kanthi titik data saka rong kelas. Ayo nuduhake kelas positif kanthi +1 lan kelas negatif kanthi -1. Upaminipun vektor bobot \mathbf{w} = [2, 3] lan istilah bias b = -6.

Kanggo titik data \mathbf{x}_i = [1, 2], kita bisa ngitung fungsi keputusan kaya ing ngisor iki:

    \[ f(\mathbf{x}_i) = \mathbf{w} \cdot \mathbf{x}_i + b = (2 \cdot 1) + (3 \cdot 2) - 6 = 2 + 6 - 6 = 2 \]

wiwit f(\mathbf{x}_i) > 0, tandha saka fungsi kaputusan positif, lan kanthi mangkono, titik data \mathbf{x}_i kagolong kelas positif (+1).

Kanggo titik data liyane \mathbf{x}_j = [3, 1], kita ngitung fungsi keputusan minangka:

    \[ f(\mathbf{x}_j) = \mathbf{w} \cdot \mathbf{x}_j + b = (2 \cdot 3) + (3 \cdot 1) - 6 = 6 + 3 - 6 = 3 \]

maneh, f(\mathbf{x}_j) > 0, supaya tandha positif, lan \mathbf{x}_j kagolong kelas positif (+1).

Saiki, nimbang titik data \mathbf{x}_k = [0, 0]:

    \[ f(\mathbf{x}_k) = \mathbf{w} \cdot \mathbf{x}_k + b = (2 \cdot 0) + (3 \cdot 0) - 6 = -6 \]

Ing kasus iki, f(\mathbf{x}_k) < 0, supaya tandha negatif, lan \mathbf{x}_k kagolong kelas negatif (-1).

Formulasi Matematika

Rumus matematika SVM kalebu ngrampungake masalah optimasi kanggo nemokake optimal \mathbf{w} lan b sing nggedhekake wates nalika nggolongake data latihan kanthi bener. Masalah optimasi bisa dituduhake minangka:

    \[ \min_{\mathbf{w}, b} \frac{1}{2} \|\mathbf{w}\|^2 \]

    \[ \text{tundhuk } y_i (\mathbf{w} \cdot \mathbf{x}_i + b) \geq 1, \quad \forall i \]

ngendi y_i yaiku label kelas titik data \mathbf{x}_i, lan watesan kasebut njamin yen kabeh titik data diklasifikasikake kanthi bener kanthi wates paling sethithik 1.

Trik Kernel

Ing akeh aplikasi praktis, data bisa uga ora bisa dipisahake sacara linear ing ruang fitur asli. Kanggo ngatasi masalah iki, SVM bisa ditambah menyang klasifikasi non-linear nggunakake trick kernel. Fungsi kernel K(\mathbf{x}_i, \mathbf{x}_j) implicitly peta data menyang spasi luwih-dimensi ngendi pamisahan linear bisa. Fungsi kernel sing umum digunakake kalebu kernel polinomial, fungsi basis radial (RBF), lan kernel sigmoid.

Fungsi kaputusan ing SVM kernelized dadi:

    \[ f(\mathbf{x}) = \sum_{i=1}^N \alpha_i y_i K(\mathbf{x}_i, \mathbf{x}) + b \]

ngendi \alfa_i punika multipliers Lagrange dijupuk saka wangun dual saka masalah Optimization.

Implementasi Python

Ing Python, perpustakaan `scikit-Learn` nyedhiyakake implementasi SVM kanthi langsung liwat kelas `SVC`. Ing ngisor iki conto carane nggunakake `SVC` kanggo nggolongake set data:

python
from sklearn import datasets
from sklearn.model_selection import train_test_split
from sklearn.svm import SVC
from sklearn.metrics import accuracy_score

# Load the dataset
iris = datasets.load_iris()
X = iris.data
y = iris.target

# Select only two classes for binary classification
X = X[y != 2]
y = y[y != 2]

# Split the dataset into training and testing sets
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42)

# Create an SVM classifier with a linear kernel
clf = SVC(kernel='linear')

# Train the classifier
clf.fit(X_train, y_train)

# Predict the class labels for the test set
y_pred = clf.predict(X_test)

# Calculate the accuracy of the classifier
accuracy = accuracy_score(y_test, y_pred)
print(f'Accuracy: {accuracy * 100:.2f}%')

Ing conto iki, kelas `SVC` digunakake kanggo nggawe klasifikasi SVM karo kernel linear. Klasifikasi dilatih ing set latihan, lan akurasi dievaluasi ing set tes. Klasifikasi set fitur ing SVM dhasar gumantung marang tandha fungsi keputusan. \text{sign}(\mathbf{x}_i \cdot \mathbf{w} + b). Tandha nemtokake ing sisih endi hyperplane titik data dumunung, saéngga ditugasake menyang kelas sing cocog. Fungsi kaputusan, proses optimasi kanggo nemokake hyperplane optimal, lan potensial nggunakake fungsi kernel kanggo nangani separability non-linear kabeh komponen penting SVMs. Ngerteni aspek kasebut menehi tampilan lengkap babagan cara SVM beroperasi lan aplikasi ing macem-macem tugas machine learning.

Pitakonan lan jawaban anyar liyane babagan Sinau Mesin EITC/AI/MLP karo Python:

Ndeleng pitakonan lan jawaban liyane ing EITC/AI/MLP Machine Learning karo Python

Pitakon lan jawaban liyane:

Diwenehi miturut: , , , , ,