Masinõppes on pertseptron binaarklassifikaatorite juhendatud õppealgoritm. Seda nimetatakse sageli ka pertseptroniks. Binaarne klassifikaator on funktsioon, mis suudab otsustada, kas sisend, mida kujutab arvude vektor, kuulub mõnda konkreetsesse klassi. See on teatud tüüpi lineaarne klassifikaator, st klassifitseerimisalgoritm, mis teeb oma prognoosid lineaarse ennustaja funktsiooni põhjal, mis kombineerib kaalude komplekti tunnusvektoriga.
Viimastel aastatel on süvaõppe edusammude tõttu tähelepanu pälvinud tehisnärvivõrgud. Aga mis on tehisnärvivõrk ja millest see koosneb?
Saage tuttavaks Perceptroniga
Selles artiklis heidame lühiülevaate tehisnärvivõrkudele üldiselt, seejärel vaatleme ühte neuronit ja lõpuks (see on kodeerimise osa) võtame kunstliku võrgu kõige elementaarsema versiooni. neuron, pertseptron ja liigitage selle punktidlennuk.
Kas olete kunagi mõelnud, miks on ülesandeid, mis on iga inimese jaoks nii lihtsad, kuid arvuti jaoks uskumatult keerulised? Tehisnärvivõrgud (lühid alt ANN) olid inspireeritud inimese kesknärvisüsteemist. Nagu nende bioloogilised vasted, on ka ANN-id üles ehitatud lihtsatele signaalitöötluselementidele, mis on ühendatud suureks võrgustikuks.
Närvivõrgud peavad õppima
Erinev alt traditsioonilistest algoritmidest ei saa närvivõrke "programmeerida" ega "häälestada" nii, et see töötaks ettenähtud viisil. Nii nagu inimaju, peavad ka nemad õppima ülesannet täitma. Jämed alt öeldes on kolm õppimisstrateegiat.
Lihtsaimat viisi saab kasutada, kui on olemas testjuhtum (piisav alt suur) ja teadaolevad tulemused. Treening käib siis nii: töötle ühte andmekogumit. Võrrelge tulemust teadaoleva tulemusega. Seadistage võrk ja proovige uuesti. See on õppestrateegia, mida me siin kasutame.
Järelevalveta õppimine
Kasulik, kui testiandmed puuduvad ja kui soovitud käitumisest on võimalik tuletada mõni kulufunktsioon. Kulufunktsioon annab närvivõrgule teada, kui kaugel see sihtmärgist on. Seejärel saab võrk oma parameetreid käigult kohandada, töötades reaalsete andmetega.
Tugevdatud õpe
Porgandi ja pulga meetod. Saab kasutada, kui närvivõrk genereerib pidevat toimingut. Aja jooksul õpib võrk eelistama õigeid toiminguid ja vältima valesid.
Olgu, nüüd teame natuketehisnärvivõrkude olemus, aga millest need täpsem alt koosnevad? Mida me näeme, kui avame kaane ja vaatame sisse?
Neuronid on närvivõrkude ehitusplokid. Mis tahes tehisnärvivõrgu põhikomponent on kunstlik neuron. Neid ei nimetata mitte ainult nende bioloogiliste vastete järgi, vaid nad on modelleeritud ka meie aju neuronite käitumise järgi.
Bioloogia vs tehnoloogia
Nii nagu bioloogilisel neuronil on signaalide vastuvõtmiseks dendriidid, nende töötlemiseks rakukeha ja teistele neuronitele signaalide saatmiseks akson, on tehisneuronil mitu sisendkanalit, töötlusaste ja üks väljund, mis suudab hargnevad paljudele teistele. tehisneuronid.
Kas me saame ühe pertseptroniga midagi kasulikku teha? On probleeme, mida üks pertseptron suudab lahendada. Vaatleme sisendvektorit punktikoordinaatidena. N-elemendiga vektori puhul elab see punkt n-mõõtmelises ruumis. Elu (ja alloleva koodi) lihtsustamiseks oletame, et see on 2D. Nagu paberitükk.
Järgmiseks kujutage ette, et joonistame sellele tasapinnale mõned juhuslikud punktid ja jagame need kaheks komplektiks, tõmmates paberile sirge. See joon jagab punktid kaheks, üks joone kohal ja teine allpool. Neid kahte hulka nimetatakse siis lineaarselt eraldatavateks.
Üks pertseptron, ükskõik kui lihtne see ka ei tunduks, suudab teada, kus see joon on, ja kui ta on treeningu lõpetanud, saab see kindlaks teha, kas antud punkt on sellest joonest kõrgemal või allpool.
Ajaluguleiutised
Selle meetodi algoritmi leiutas 1957. aastal Cornelli lennunduslaboris Frank Rosenblatt (sageli tema järgi nimetatud), rahastas USA mereväeuuringute amet. Perceptron oli mõeldud masinaks, mitte programmiks, ja kuigi selle esimene juurutus oli IBM 704 tarkvaras, rakendati seda hiljem eritellimusel valmistatud riistvarale kui "Mark 1 Perceptron". See masin oli mõeldud kujutise tuvastamiseks: sellel oli 400 fotoelementi, mis olid juhuslikult ühendatud neuronitega. Kaalud kodeeriti potentsiomeetritesse ja treeningu ajal kaalu uuendamine toimus elektrimootorite abil.
USA mereväe korraldatud pressikonverentsil 1958. aastal tegi Rosenblatt avaldusi perceptroni kohta, mis tekitas noorte tehisintellekti kogukonna seas tuliseid vaidlusi; Rosenblatti väidete põhjal teatas New York Times, et pertseptron on "embrüonaalne elektrooniline arvuti, millelt merevägi eeldab, et see suudab kõndida, rääkida, näha, kirjutada, ennast reprodutseerida ja olla teadlik oma olemasolust".
Edasised arendused
Kuigi pertseptron tundus alguses paljulubav, tõestati kiiresti, et pertseptroneid ei saa treenida paljude mustrite klasside äratundmiseks. See viis pertseptronnärvivõrkudega seotud uurimisvaldkonna stagnatsioonini aastaid, enne kui jõuti arusaamisele, et kahe või enama kihiga edasisuunav närvivõrk (nn.mitmekihilisel pertseptronil) oli palju suurem töötlemisvõimsus kui ühekihilistel pertseptronidel (mida nimetatakse ka ühekihilisteks pertseptroniteks). Ühekihiline pertseptron on võimeline uurima ainult lineaarselt eraldatavaid struktuure. 1969. aastal näitas Marvin Minsky ja Seymour Paperti kuulus raamat "Perceptrons", et need võrguklassid ei suuda XOR-funktsiooni õppida. See aga ei kehti mittelineaarsete klassifitseerimisfunktsioonide kohta, mida saab kasutada ühekihilises pertseptronis.
Selliste funktsioonide kasutamine laiendab perceptroni võimalusi, sealhulgas XOR-funktsiooni rakendamist. Sageli eeldatakse (valesti), et nad eeldasid ka, et sarnane tulemus kehtiks ka mitmekihilise pertseptronvõrgu puhul. Kuid see pole nii, kuna nii Minsky kui ka Papert teadsid juba, et mitmekihilised pertseptronid on võimelised tootma XOR-funktsiooni. Kolm aastat hiljem avaldas Steven Grossberg rea artikleid, mis tutvustasid võrke, mis on võimelised modelleerima diferentsiaalfunktsioone, kontrasti suurendamise funktsioone ja XOR-funktsioone.
Teosed ilmusid 1972. ja 1973. aastal. Tihti tähelepanuta jäetud Minsky/Paperti tekst põhjustas aga närvivõrgu pertseptroniga seotud huvi ja uurimistöö rahastamise olulise languse. Möödus veel kümme aastat, enne kui närvivõrkude uurimine 1980. aastatel taaselustati.
Funktsioonid
Perceptron Kernel Algorithm võeti kasutusele 1964. aastal Yzerman jt poolt. Mori ja Rostamizadeh (2013), kes pikendavad varasemaid tulemusi ja annavad uued piirid L1.
Perceptron on bioloogilise neuroni lihtsustatud mudel. Kuigi närvikäitumise täielikuks mõistmiseks on sageli vaja bioloogiliste närvimudelite keerukust, näitavad uuringud, et pertseptronitaoline lineaarne mudel võib indutseerida mõningaid tõelisi neuronite käitumist.
Perceptron on lineaarne klassifikaator, seega ei satu see kunagi olekusse, kus kõik sisendvektorid on õigesti klassifitseeritud, kui treeningkomplekt D ei ole lineaarselt eraldatav, st. kui positiivseid näiteid ei saa hüpertasandiga eraldada negatiivsetest. Sel juhul ei lähe ükski "ligikaudne" lahendus samm-sammult läbi standardse õppealgoritmi, selle asemel ebaõnnestub õppimine täielikult. Seega, kui treeningkomplekti lineaarne eraldatavus ei ole a priori teada, tuleks kasutada ühte allolevatest treeningvõimalustest.
Taskulgoritm
Põrketasku algoritm lahendab perceptroni õppimise vastupidavuse probleemi, hoides seni leitud parimat lahendust taskus. Tasku algoritm tagastab siis pigem taskus oleva lahenduse kui viimase lahenduse. Seda saab kasutada ka mitteeraldatavate andmekogumite jaoks, mille eesmärk on leida väheste väärklassifikatsioonidega pertseptron. Need lahendused näevad aga stohhastilised ja seetõttu taskualgoritm neile ei sobi.järk-järgult treeningu jooksul ja nende tuvastamine teatud arvu treeningsammude jooksul ei ole garanteeritud.
Maxoveri algoritm
Maxoveri algoritm on "tugev" selles mõttes, et see ühtlustub sõltumata teadmistest andmekogumi lineaarse eraldatavuse kohta. Lineaarse jaotuse korral lahendab see õppimisprobleemi, valikuliselt isegi optimaalse stabiilsusega (maksimaalne varu klasside vahel). Eraldamatute andmekogumite puhul tagastatakse väikese arvu väärklassifikatsioonidega lahendus. Kõikidel juhtudel läheneb algoritm õppeprotsessi käigus järk-järgult lahendusele, eelnevaid olekuid meeles pidamata ja juhuslike hüpeteta. Konvergents seisneb jagatud andmekogumite globaalses optimaalsuses ja mitteeraldatavate andmekogumite lokaalses optimaalsuses.
Hääletas Perceptroni
Algoritm Voted Perceptron on variant, mis kasutab mitut kaalutud perceptronit. Algoritm käivitab uue pertseptroni iga kord, kui näide on valesti klassifitseeritud, lähtestades kaaluvektori viimase perceptroni lõplike kaaludega. Igale pertseptronile antakse ka erinev kaal, mis vastab sellele, kui palju näiteid nad õigesti klassifitseerivad, enne kui ühe valesti klassifitseeritakse, ja lõpuks on väljundiks kaalutud hääl kogu perceptronile.
Rakendus
Separeeritavate probleemide korral võib pertseptronitreening olla suunatud ka klassidevahelise suurima eralduspiiri leidmisele. nnOptimaalse stabiilsuse pertseptroni saab määrata, kasutades iteratiivseid koolitus- ja optimeerimisskeeme, nagu Min-Over või AdaTron algoritm. AdaTron kasutab ära tõsiasja, et vastav ruutliku optimeerimise probleem on kumer. Optimaalne stabiilsuspertseptron koos tuumatrikiga on tugivektori masina kontseptuaalne alus.
Alternatiiv
Teine viis mittelineaarsete probleemide lahendamiseks ilma mitut kihti kasutamata on kasutada kõrgemat järku võrke (sigma-pi plokk). Seda tüüpi võrgus laiendatakse sisendvektori iga elementi iga korrutatud sisendite paarikaupa kombinatsiooniga (teine järk). Seda saab laiendada n-järgu võrgule. Perceptron on väga paindlik asi.
Pidage siiski meeles, et parim klassifikaator ei pruugi olla see, mis kõiki treeninguandmeid täpselt klassifitseerib. Tõepoolest, kui meil oleks eelnev piirang, et andmed pärinevad võrdsete variantidega Gaussi jaotustest, on sisendruumi lineaarne jaotus optimaalne ja mittelineaarne lahendus tühistatakse.
Teised lineaarsed klassifitseerimisalgoritmid hõlmavad Winnowi, tugivektorit ja logistilist regressiooni. Perceptron on universaalne algoritmide komplekt.
Peamine võimalus juhendatud õppimiseks
Järelevalvega õpe on masinõppeülesanne, mis õpib ära funktsiooni, mis kaardistab sisendi väljundigaI/O paaride näidete põhjal. Nad järeldavad funktsiooni märgistatud treeningandmetest, mis koosnevad näidete komplektist. Juhendatud õppe puhul on iga näide paar, mis koosneb sisendobjektist (tavaliselt vektorist) ja soovitud väljundväärtusest (nimetatakse ka juhtsignaaliks).
Järelevalvega õppealgoritm analüüsib treeninguandmeid ja loob hinnangulise funktsiooni, mida saab kasutada uute näidete kuvamiseks. Optimaalne stsenaarium võimaldaks algoritmil nähtamatute eksemplaride klassisildid õigesti määrata. Selleks on vaja õppealgoritmi üldistada õpiandmed nähtamatutele olukordadele "mõistlikul" viisil.
Inimese- ja loomapsühholoogia paralleelülesannet nimetatakse sageli kontseptuaalseks õppimiseks.
