Kaip sukurti lyginamąjį eksperimentą algoritmo veikimui patikrinti
Palik žinutę
Vieno kintamojo valdymas ir palyginimo rezultatų kiekybinis įvertinimas yra pagrindiniai lyginamojo eksperimento kūrimo komponentai. Tai galima pritaikyti praktikoje, naudojant veiksmus „eksperimentinė grupė - kontrolinė grupė → kontroliniai kintamieji → testavimo scenarijų kūrimas → statistiniai rodikliai → rezultato sprendimas“. Toliau pateikiami tikslūs žingsniai:
1. Eksperimentinis grupavimas (aiškiai apibrėžkite valdymo ryšį) Sukurkite dvi ar tris palyginimo grupes, kad parodytumėte, kuo skirtingi algoritmai skiriasi vienas nuo kito:
1 kontrolinė grupė: įprastinė fiksuotų slenksčių palyginimo technika (dabartinis sprendimas, pradinė padėtis)
Eksperimentinė grupė: optimizuotas algoritmas, kurį reikia patvirtinti, pvz., „pakopinis dinaminis + 3σ + EWMA kombinuotas algoritmas“, kurį norite išbandyti
Vienas optimizuotas algoritmas (pvz., tiesiog pakopinis dinaminis slenkstis, kad būtų patvirtintas adaptyvaus atnaujinimo padidėjimas) yra antroji neprivaloma valdymo grupė.
2. Nesvarbių veiksnių reguliavimas, siekiant išlaikyti teisingumą. Norint išvengti ne-algoritminių veiksnių trikdžių, eksperimento metu turi būti laikomasi šių sąlygų:
Nuosekli aparatinė įranga: nekeiskite aparatūros; vietoj to naudokite tą patį įsigijimo PLC rinkinį, tą pačią montavimo vietą ir tą pačią jutiklių porą.
Nuoseklios veikimo sąlygos: nekeiskite gaminio ir nekeiskite proceso; vietoj to, testuokite toje pačioje gamybos linijoje, naudodami tuos pačius gaminio ir proceso parametrus.
Nuoseklus bandymo ciklas: tą patį laiką abi grupės nuolat tikrinamos (pvz., kiekviena veikia dvi savaites, apimanti pakankamą gamybos ciklų skaičių).
3. Sukurkite trijų skirtingų tipų bandymų scenarijus, kuriuose atsižvelgiama į kiekvieną našumo aspektą. Sukurkite scenarijus, ypač norėdami kruopščiai patvirtinti algoritmo galimybes:
(1) Anti-trukdžių testas įprastomis darbo sąlygomis (patvirtinamas klaidingų pavojaus signalų dažnis)
Bandymo procedūra: reguliari gamyba, nuolatinis visų pavojaus signalų registravimas ir kiekvieno signalo teisėtumo tikrinimas rankiniu būdu.
Statistiniai rodikliai: nustatykite dviejų grupių klaidingų pavojaus signalų dažnį ir stebėkite optimizuoto algoritmo klaidingų pavojaus signalų procentinį sumažėjimą.
Numatomas rezultatas: lyginant su fiksuota riba, optimizuoto algoritmo klaidingų pavojaus signalų dažnis turėtų sumažėti bent 60%.
(2) Gedimų modeliavimo testas (patvirtinamas atsako laikas ir praleisto įspėjimo dažnis) Pakartokite bandymą tris kartus kiekvienai grupei, rankiniu būdu imituodami tris tipinius pramoninių jutiklių gedimus:
Lentelė: Imituotas gedimo tipo modeliavimo metodas Momentinio nulio{0}}taško poslinkio patvirtinimo indikatoriai Pridėkite momentinį 0,1 %FS poslinkį prie vieno iš jutiklių išėjimų, tada po sekundės atsistatykite. Patikrinkite, ar nėra klaidingo įspėjimo (dažniausiai jo neturėtų būti). Nuolatinis lėtas senėjimas Kiekvieną dieną prie vieno jutiklio išvesties pridėkite 0,01 % FS poslinkį, kuris prideda iki 0,1 % FS. Patikrinkite, ar nėra praleistų pavojaus signalų ir laiku. Step Drift: nuolat kompensuokite vieno jutiklio išvestį 0,2 % FS. Patikrinkite, ar jį galima aptikti laiku, ir pavojaus atsako delsą. Priėmimo standartai: optimizuotas algoritmas 100 % laiko aptinka visas nuolatines problemas, nes nėra praleistų aliarmų, atsako uždelsimas yra mažesnis nei dešimt sekundžių ir klaidingi aliarmai dėl momentinių trukdžių.
(3) Ilgalaikio senėjimo prisitaikymo bandymas (patvirtinkite ilgalaikį stabilumą) bandymo metodas: kartą per mėnesį apskaičiuokite klaidingo pavojaus signalo dažnį ir nepertraukiamai vykdykite tris mėnesius nereguliuodami parametrų rankiniu būdu. Statistinis rodiklis: nustatykite, kiek pasikeitė klaidingų pavojaus signalų dažnis per tris mėnesius. Priėmimo kriterijai: fiksuoto slenksčio algoritmo pokyčio rodiklis paprastai viršija 5 %, o optimizuoto algoritmo su prisitaikančiais atnaujinimais klaidingo aliarmo dažnio kitimo rodiklis yra mažesnis arba lygus 2 %.
4. Duomenų statistika ir rezultatų nustatymas
Po eksperimento duomenims rinkti ir našumui įvertinti buvo taikomos šios gairės:
Pagrindiniai rodikliai, kuriems teikiama pirmenybė: Optimizuoto algoritmo našumas laikomas geresniu, jei jo klaidingų pavojaus signalų dažnis yra mažesnis arba lygus 5%, o tai yra didesnis arba lygus 60% mažesnis nei kontrolinės grupės, ir jei jo klaidingų pavojaus signalų dažnis yra mažesnis arba lygus 1%.
Ilgalaikio stabilumo tikrinimas: prisitaikantis mechanizmas yra efektyvus ir veikia geriau ilgą laiką nei kontrolinė grupė, jei klaidingų pavojaus signalų dažnio pokytis po trijų mėnesių yra mažesnis nei 2 %.
Inžinerinio praktiškumo priedas: Statistinis derinimo laiko ir priežiūros dažnumo tyrimas; patobulintas praktiškumas rodomas bent 30 % sumažinus techninės priežiūros dažnumą po optimizavimo.
Eksperimentų atsargumo priemonės
Nekeiskite algoritmo ir aparatinės įrangos tuo pačiu metu. Išvados bus dviprasmiškos, jei algoritmas yra vienintelis kintamasis.
Kad apimtų pakankamai gamybos ciklų, kad duomenys būtų statistiškai reikšmingi, testavimo laikotarpis neturėtų būti per trumpas-ji turėtų būti bent viena ar dvi savaitės.
Kiekvienas signalas turi būti patikrintas rankiniu būdu. Siekiant išvengti statistinio šališkumo, algoritmo pavojaus signalai neturėtų būti laikomi tikrais duomenimis.
