Nerangake pinunjul saka watesan (y_i (mathbf{x}_i cdot mathbf{w} + b) geq 1) ing optimasi SVM.

/ / Published in Kacerdhasan gawéyan, Sinau Mesin EITC/AI/MLP karo Python, Mesin vektor dhukungan, Dhukungan optimasi mesin vektor, Review ujian

kendala y_i (\mathbf{x}_i \cdot \mathbf{w} + b) \geq 1 minangka komponèn dhasar ing proses optimasi Dhukungan Vector Machines (SVM), cara populer lan kuat ing lapangan machine learning kanggo tugas klasifikasi. Watesan iki nduweni peran penting kanggo mesthekake yen model SVM ngelasake titik data latihan kanthi bener nalika nggedhekake wates antarane kelas sing beda. Kanggo appreciate pinunjul saka alangan iki, iku penting kanggo nimbang mekanika SVMs, interpretasi geometris saka alangan, lan mbek kanggo masalah Optimization.

Mesin Vektor Dhukungan ngarahake nemokake hyperplane optimal sing misahake titik data saka macem-macem kelas kanthi wates maksimal. Hyperplane ing spasi n-dimensi ditemtokake dening persamaan \mathbf{w} \cdot \mathbf{x} + b = 0, ngendi \mathbf{w} yaiku vektor bobot normal kanggo hyperplane, \mathbf{x} punika vektor fitur input, lan b yaiku istilah bias. Tujuane kanggo nggolongake titik data kayata titik saka siji kelas dumunung ing sisih siji hyperplane, lan titik saka kelas liyane dumunung ing sisih ngelawan.

kendala y_i (\mathbf{x}_i \cdot \mathbf{w} + b) \geq 1 mesthekake yen saben titik data (\mathbf{x}_i, y_i) diklasifikasikake kanthi bener lan dumunung ing sisih pinggir sing bener. kene, y_i nggantosi label kelas saka titik data i-th, karo y_i = +1 kanggo siji kelas lan y_i = -1 kanggo kelas liyane. Istilah kasebut \mathbf{x}_i \cdot \mathbf{w} + b yaiku fungsi kaputusan sing nemtokake posisi titik data relatif marang hyperplane.

Kanggo mangerteni interpretasi geometris, nimbang ing ngisor iki:

1. Pamisahan Kelas Positif lan Negatif: Kanggo titik data \mathbf{x}_i kalebu kelas positif (y_i = +1), kendala y_i (\mathbf{x}_i \cdot \mathbf{w} + b) \geq 1 simplifies kanggo \mathbf{x}_i \cdot \mathbf{w} + b \geq 1. Iki tegese titik data \mathbf{x}_i kudu dumunung ing utawa njaba wates wates ditetepake dening \mathbf{w} \cdot \mathbf{x} + b = 1. Kajaba iku, kanggo titik data \mathbf{x}_i kalebu kelas negatif (y_i = -1), kendala nyederhanakake kanggo \mathbf{x}_i \cdot \mathbf{w} + b \leq -1, mesthekake yen titik data dumunung ing utawa njaba wates wates ditetepake dening \mathbf{w} \cdot \mathbf{x} + b = -1.

2. Maximization Margin: Margin iku jarak antarane hyperplane lan titik data paling cedhak saka salah siji kelas. Watesan mesthekake yen margine dimaksimalake kanthi meksa titik data adoh saka hyperplane sabisa nalika isih njaga klasifikasi sing bener. Jarak saka titik \mathbf{x}_i menyang hyperplane diwenehi dening \frac{|\mathbf{x}_i \cdot \mathbf{w} + b|}{\|\mathbf{w}\|}. Kanthi ngetrapake kendala y_i (\mathbf{x}_i \cdot \mathbf{w} + b) \geq 1, algoritma SVM kanthi efektif ngoptimalake jarak iki, ndadékaké margin sing luwih gedhe lan kinerja generalisasi sing luwih apik.

3. Dhukungan Vektor: Titik data sing dumunung persis ing wates wates \mathbf{w} \cdot \mathbf{x} + b = 1 lan \mathbf{w} \cdot \mathbf{x} + b = -1 disebut vektor support. Titik kasebut kritis kanggo nemtokake hyperplane sing optimal, amarga minangka titik paling cedhak karo hyperplane lan langsung mengaruhi posisi lan orientasi. Watesan mesthekake yen vektor dhukungan kasebut diklasifikasikake kanthi bener lan dumunung ing wates wates, saengga nduweni peran penting ing masalah optimasi.

Masalah optimasi kanggo SVM bisa dirumusake minangka masalah optimasi cembung, ing ngendi tujuane kanggo nyilikake norma vektor bobot. \mathbf{w} (sing padha karo maksimalake margin) tundhuk watesan y_i (\mathbf{x}_i \cdot \mathbf{w} + b) \geq 1 kanggo kabeh titik data latihan. Secara matematis, iki bisa digambarake minangka:

    \[ \begin{aligned} &\min_{\mathbf{w}, b} \frac{1}{2} \|\mathbf{w}\|^2 \\ &\text{tundhuk} \quad y_i (\mathbf{x}_i \cdot \mathbf{w} + b) \geq 1, \quad \forall i. \end{aligned} \]

Faktor saka \frac{1}{2} kalebu kanggo penak matematika nalika njupuk turunan sak Optimization. Formulasi iki dikenal minangka wangun primal saka masalah optimasi SVM.

Kanggo ngatasi masalah optimasi iki, biasane nggunakake teknik saka optimasi cembung, kayata multipliers Lagrange. Kanthi ngenalke multipliers Lagrange \alpha_i \geq 0 kanggo saben alangan, masalah Optimization bisa rubah menyang wangun dual, kang asring luwih gampang kanggo ngatasi, utamané nalika dealing with data dhuwur-dimensi. Wangun dual saka masalah optimasi SVM diwenehake dening:

    \[ \begin{aligned} &\max_{\alpha} \sum_{i=1}^{N} \alpha_i - \frac{1}{2} \sum_{i=1}^{N} \sum_{ j=1}^{N} \alpha_i \alpha_j y_i y_j (\mathbf{x}_i \cdot \mathbf{x}_j) \\ &\text{tundhuk} \quad \sum_{i=1}^{ N} \alpha_i y_i = 0, \\ &\quad \quad \quad \quad \quad \quad 0 \leq \alpha_i \leq C, \quad \forall i, \end{aligned} \]

ngendi N punika nomer TCTerms data latihan, lan C punika parameter regularization sing kontrol trade-off antarane nggedhekake wates lan nyilikake kesalahan klasifikasi ing data latihan.

Formulasi dual nggunakake trick kernel, ngidini SVM bisa nangani data sing ora bisa dipisahake sacara linear kanthi pemetaan data input menyang ruang fitur dimensi sing luwih dhuwur ing ngendi pamisahan linear bisa. Iki digayuh liwat fungsi kernel, kayata kernel polinomial, kernel fungsi basis radial (RBF), lan kernel sigmoid, sing sacara implisit ngetung produk titik ing ruang dimensi sing luwih dhuwur tanpa kanthi jelas nindakake transformasi.

Kanthi ngatasi masalah optimisasi dual, siji entuk multipliers Lagrange optimal \alfa_i, sing bisa digunakake kanggo nemtokake vektor bobot optimal \mathbf{w} lan istilah bias b. Vektor dhukungan cocog karo titik data kanthi multiplier Lagrange non-nol, lan fungsi keputusan kanggo klasifikasi titik data anyar \mathbf{x} diwenehake dening:

    \[ f(\mathbf{x}) = \text{sign} \ left( \sum_{i=1}^{N} \alpha_i y_i (\mathbf{x}_i \cdot \mathbf{x}) + b \tengen). \]

kendala y_i (\mathbf{x}_i \cdot \mathbf{w} + b) \geq 1 mangkono integral kanggo proses optimasi SVM, mesthekake yen model entuk imbangan antarane bener klasifikasi data latihan lan nggedhekake wates, anjog kanggo generalisasi luwih apik ing data sing ora katon.

Kanggo nggambarake pentinge kendala iki kanthi conto, nimbang masalah klasifikasi binar prasaja kanthi titik data rong dimensi. Upaminipun kita duwe data latihan ing ngisor iki:

    \[ \begin{aligned} &\mathbf{x}_1 = (2, 3), \quad y_1 = +1, \\ &\mathbf{x}_2 = (1, 1), \quad y_2 = +1 , \\ &\mathbf{x}_3 = (-1, -1), \quad y_3 = -1, \\ &\mathbf{x}_4 = (-2, -3), \quad y_4 = -1 . \end{aligned} \]

Tujuane kanggo nemokake hyperplane optimal sing misahake kelas positif (y = +1saka kelas negatif (y = -1). Watesan kanggo masalah iki bisa ditulis minangka:

    \[ \begin{aligned} &y_1 (\mathbf{x}_1 \cdot \mathbf{w} + b) \geq 1 \quad \Rightarrow \quad (2, 3) \cdot \mathbf{w} + b \geq 1, \\ &y_2 (\mathbf{x}_2 \cdot \mathbf{w} + b) \geq 1 \quad \Rightarrow \quad (1, 1) \cdot \mathbf{w} + b \geq 1, \ \ &y_3 (\mathbf{x}_3 \cdot \mathbf{w} + b) \geq 1 \quad \Rightarrow \quad (-1, -1) \cdot \mathbf{w} + b \leq -1, \ \ &y_4 (\mathbf{x}_4 \cdot \mathbf{w} + b) \geq 1 \quad \Rightarrow \quad (-2, -3) \cdot \mathbf{w} + b \leq -1. \end{aligned} \]

Kanthi ngrampungake masalah optimisasi SVM kanthi kendala kasebut, kita entuk vektor bobot optimal \mathbf{w} lan istilah bias b sing nemtokake hyperplane sing misahake rong kelas kanthi wates maksimum.

kendala y_i (\mathbf{x}_i \cdot \mathbf{w} + b) \geq 1 penting kanggo proses Optimization SVM minangka njamin klasifikasi bener saka titik data latihan nalika nggedhekake wates antarane kelas beda. Iki ndadékaké kinerja generalisasi sing luwih apik lan kakuwatan model SVM.

Pitakonan lan jawaban anyar liyane babagan Sinau Mesin EITC/AI/MLP karo Python:

Ndeleng pitakonan lan jawaban liyane ing EITC/AI/MLP Machine Learning karo Python

Pitakon lan jawaban liyane:

Diwenehi miturut: , , , , ,