黑人精品XXX一区一二区,91久久精品无码一区二区毛片进,久久久久国产Av麻豆,精品动漫3D一区二区三区免费版,欧美性受XXXX黑人XYX性爽
歡迎光臨上海公關(guān)公司官網(wǎng)!
10年專注企業(yè)危機(jī)公關(guān)處理 網(wǎng)絡(luò)輿情口碑維護(hù)公司、網(wǎng)絡(luò)公關(guān)公司
微信:haotu616
當(dāng)前位置:網(wǎng)絡(luò)公關(guān) > 輿情處理 >
輿情處理
技術(shù)資料

華為提出基于進(jìn)化算法和權(quán)值共享的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)搜索,CIFAR-10上僅需單

作者:admin 來(lái)源:未知 時(shí)間:2022-01-27 15:14:26 點(diǎn)擊:

[文章前言]:資產(chǎn)情況 數(shù)據(jù)來(lái)源:公司公告 本次擬募集配套資金不超過(guò)5.1億元,募集配套資金發(fā)行底價(jià)為12.78元/股,募集配套資金發(fā)行股份數(shù)量不超過(guò)39 906 103股,用于支付本次交易現(xiàn)金對(duì)價(jià)、用于

  資產(chǎn)情況

   數(shù)據(jù)來(lái)源:公司公告

   本次擬募集配套資金不超過(guò)5.1億元,募集配套資金發(fā)行底價(jià)為12.78元/股,募集配套資金發(fā)行股份數(shù)量不超過(guò)39 906 103股,用于支付本次交易現(xiàn)金對(duì)價(jià)、用于標(biāo)的公司的醫(yī)療設(shè)備采購(gòu)及支付本次重大資產(chǎn)重組涉及的中介機(jī)構(gòu)費(fèi)。

   (二)交易對(duì)股權(quán)結(jié)構(gòu)的影響

   本次交易前,美年健康的總股本為2 421 482 706股。本次交易完成后,公司總股本將增至2 612 251 083股(考慮募集配套資金)。本次交易完成前后,公司股本結(jié)構(gòu)具體如表1-8。

   表1-8交易前后股權(quán)結(jié)構(gòu)(考慮募集配套資金)

   數(shù)據(jù)來(lái)源:公司公告

   本次交易前,天億投資持有上市公司11.22%的股份,為上市公司控股股東。本次交易后,在不考慮配套融資的情況下,天億投資將持有上市公司10.57%的股份;在考慮配套融資的情況下,天億投資將持有上市公司10.40%的股份,天億投資仍為上市公司控股股東。本次交易前,上市公司實(shí)際控制人俞熔先生直接及間接持有上市公司30.79%股份;本次交易后,俞熔先生直接及間接持有上市公司股份891 534 481股,占上市公司總股本的比例分別為34.66%(不考慮配套融資)及34.13%(考慮配套融資)。上市公司實(shí)際控制人未發(fā)生變更。

   (三)交易后的財(cái)務(wù)狀況

   兩大巨頭的“聯(lián)姻”將帶來(lái)顯著地規(guī)模效應(yīng),鞏固了美年健康的行業(yè)龍頭地位。在市場(chǎng)份額、網(wǎng)點(diǎn)布局、經(jīng)營(yíng)管理等多方面帶來(lái)正向的整合效應(yīng)。

   本次交易將顯著提升上市公司的整體規(guī)模,提高上市公司的總體盈利能力。本次交易完成后,上市公司資產(chǎn)規(guī)模、經(jīng)營(yíng)規(guī)模、每股收益都將大幅提升。

   表1-9交易前后主要財(cái)務(wù)指標(biāo)(單位:萬(wàn)元)

   數(shù)據(jù)來(lái)源:公司公告

   (四)交易后的市場(chǎng)反應(yīng)

   市場(chǎng)對(duì)此次交易存在一定的滯后反應(yīng),在2017年6月公告定增草案后,公司股價(jià)出現(xiàn)一個(gè)波峰,但很快回落。但從2017年年底開始,美年健康的股價(jià)大幅增長(zhǎng),且呈現(xiàn)良好的向上趨勢(shì)(見(jiàn)圖1-20)。

   圖1-20美年健康近一年超額收益

   數(shù)據(jù)來(lái)源:Wind

   與美年健康的走勢(shì)恰恰相反,愛(ài)康國(guó)賓在2017年經(jīng)歷了黑暗的波谷時(shí)期,其在7月和8月上半月的股價(jià)均跌破14元的發(fā)行價(jià),資本價(jià)值受到了沉重打擊。2018年起,愛(ài)康國(guó)賓的股價(jià)稍有恢復(fù),這或許與2018年年初納斯達(dá)克市場(chǎng)整體股價(jià)大幅上升有關(guān)。整體來(lái)看,愛(ài)康國(guó)賓的走勢(shì)遠(yuǎn)遠(yuǎn)弱于納斯達(dá)克指數(shù)。

   從市場(chǎng)來(lái)看,2017—2018年納斯達(dá)克市場(chǎng)比滬深市場(chǎng)表現(xiàn)更好。從個(gè)股情況來(lái)看,愛(ài)康國(guó)賓表現(xiàn)遠(yuǎn)遠(yuǎn)弱于納斯達(dá)克指數(shù),而美年健康自6月公告并購(gòu)消息后便向上超過(guò)滬深300和納斯達(dá)克指數(shù),在2017年年底并購(gòu)成功后的表現(xiàn)更是強(qiáng)勁。與愛(ài)康國(guó)賓的頹勢(shì)相比,兩者的差距越來(lái)越大。

   從宏觀層面看,醫(yī)藥行業(yè)近年來(lái)收到政府的支持和政策的推動(dòng),居民消費(fèi)升級(jí)和健康意識(shí)的上升也使得醫(yī)藥,特別是健康體檢行業(yè)具有極大的發(fā)展?jié)摿Α?/p>

   從行業(yè)層面看,美年健康作為體檢行業(yè)龍頭企業(yè),具有良好的財(cái)務(wù)狀況、先進(jìn)的管理意識(shí)和準(zhǔn)確的戰(zhàn)略定位,是行業(yè)的佼佼者,也是健康體檢產(chǎn)業(yè)的稀缺投資標(biāo)的。

   從公司估值的情況看,美年健康當(dāng)前股價(jià)對(duì)應(yīng)PE 72/51/37x,公司是體檢行業(yè)絕對(duì)龍頭,經(jīng)營(yíng)模式成熟,增長(zhǎng)確定性強(qiáng),參考愛(ài)爾眼科PEG,合理估值21.42—23.33元,股價(jià)上漲空間16%—26%。這只是考慮目前體檢主業(yè)所帶來(lái)的安全邊際,公司體檢業(yè)務(wù)還具有流量?jī)r(jià)值。此外,完善生態(tài)圈閉環(huán)后可享有獨(dú)立估值。因此,美年健康是確定性很強(qiáng)的成長(zhǎng)股,目前處于高速增長(zhǎng)階段,并且安全邊際廣闊。

  五、看得見(jiàn)的藍(lán)海,高成長(zhǎng)的體檢龍頭揚(yáng)帆起航

   中國(guó)體檢行業(yè)空間巨大,美年健康是專業(yè)體檢領(lǐng)域絕對(duì)龍頭,具有規(guī)模和資金優(yōu)勢(shì)。公司著力渠道下沉,在三四線城市的廣闊藍(lán)海區(qū)域加快布局,迅速實(shí)現(xiàn)盈利,保持業(yè)績(jī)高速增長(zhǎng),并且天花板較高。美年健康在A股標(biāo)的中有稀缺性,不僅是唯一連鎖體檢公司,而且公司很早就以體檢為出發(fā)點(diǎn),布局醫(yī)療大健康生態(tài)圈,估值在醫(yī)藥行業(yè)內(nèi)較為獨(dú)立。經(jīng)過(guò)此次橫向并購(gòu)后,其龍頭地位更為穩(wěn)固,未來(lái)在城市布局、產(chǎn)業(yè)鏈閉環(huán)、業(yè)務(wù)拓展等方面有更大的發(fā)展空間。

   (一)血海藍(lán)海,游刃有余

   自2015年上市以來(lái),美年健康以“先參后控”方式快速新設(shè)、并購(gòu)體檢中心,擴(kuò)大市場(chǎng)份額。在“重點(diǎn)城市與全國(guó)布局”的發(fā)展戰(zhàn)略指導(dǎo)下,實(shí)行“加強(qiáng)一線城市占有率,鞏固完善二三線城市布局,適時(shí)發(fā)展四線城市網(wǎng)點(diǎn)”的區(qū)域發(fā)展策略,加速體檢中心擴(kuò)張,基本實(shí)現(xiàn)全國(guó)布局。

   一二線城市與三四線城市的體檢市場(chǎng)容量、競(jìng)爭(zhēng)格局、發(fā)展階段迥異,因此,美年健康也相應(yīng)采取不同的策略進(jìn)行布局。美年健康旗下體檢中心有旗艦店、標(biāo)準(zhǔn)店、準(zhǔn)標(biāo)準(zhǔn)店、經(jīng)濟(jì)店等四種標(biāo)準(zhǔn),不同標(biāo)準(zhǔn)體檢中心的面積、影像學(xué)設(shè)備配臵和客戶體驗(yàn)等均有所不同:一般在一二線城市至少布局一家旗艦店,而在人口20萬(wàn)—30萬(wàn)人以上的三四線城市,目前至少設(shè)定

   導(dǎo)讀:為了優(yōu)化進(jìn)化算法在神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)搜索時(shí)候選網(wǎng)絡(luò)訓(xùn)練過(guò)長(zhǎng)的問(wèn)題  ,參考ENAS和NSGA-III ,論文提出連續(xù)進(jìn)化結(jié)構(gòu)搜索方法(continuous evolution architecture search, CARS)  ,最大化利用學(xué)習(xí)到的知識(shí)  ,如上一輪進(jìn)化的結(jié)構(gòu)和參數(shù) 。首先構(gòu)造用于參數(shù)共享的超網(wǎng)  ,從超網(wǎng)中產(chǎn)生子網(wǎng)  ,然后使用None-dominated排序策略來(lái)選擇不同大小的優(yōu)秀網(wǎng)絡(luò) ,整體耗時(shí)僅需要0.5 GPU day  。

   簡(jiǎn)介

   目前神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)搜索的網(wǎng)絡(luò)性能已經(jīng)超越了人類設(shè)計(jì)的網(wǎng)絡(luò) ,搜索方法大致可以分為強(qiáng)化學(xué)習(xí)、進(jìn)化算法以及梯度三種 ,有研究表明進(jìn)化算法能比強(qiáng)化學(xué)習(xí)搜索到更好的模型  ,但其搜索耗時(shí)較多  ,主要在于對(duì)個(gè)體的訓(xùn)練驗(yàn)證環(huán)節(jié)費(fèi)事  。可以借鑒ENSA的權(quán)重共享策略進(jìn)行驗(yàn)證加速  ,但如果直接應(yīng)用于進(jìn)化算法 ,超網(wǎng)會(huì)受到較差的搜索結(jié)構(gòu)的影響  ,因此需要修改目前神經(jīng)網(wǎng)絡(luò)搜索算法中用到的進(jìn)化算法 。為了最大化上一次進(jìn)化過(guò)程學(xué)習(xí)到的知識(shí)的價(jià)值  ,論文提出了連續(xù)進(jìn)化結(jié)構(gòu)搜索方法(continuous evolution architecture search, CARS) 。

   首先初始化一個(gè)有大量cells和blocks的超網(wǎng)(supernet) ,超網(wǎng)通過(guò)幾個(gè)基準(zhǔn)操作(交叉、變異等)產(chǎn)生進(jìn)化算法中的個(gè)體(子網(wǎng))  ,使用Non-dominated 排序策略來(lái)選取幾個(gè)不同大小和準(zhǔn)確率的優(yōu)秀模型  ,然后訓(xùn)練子網(wǎng)并更新子網(wǎng)對(duì)應(yīng)的超網(wǎng)中的cells  ,在下一輪的進(jìn)化過(guò)程會(huì)繼續(xù)基于更新后的超網(wǎng)以及non-dominated排序的解集進(jìn)行  。另外  ,論文提出一個(gè)保護(hù)機(jī)制來(lái)避免小模型陷阱問(wèn)題  。

  

   方法 論文使用基因算法(GA)來(lái)進(jìn)行結(jié)構(gòu)進(jìn)化  ,GA能提供很大的搜索空間  ,對(duì)于結(jié)構(gòu)集 ,為種群大小  。在結(jié)構(gòu)優(yōu)化階段 ,種群內(nèi)的結(jié)構(gòu)根據(jù)論文提出的pNSGA-III方法逐步更新  。為了加速 ,使用一個(gè)超網(wǎng)用來(lái)為不同的結(jié)構(gòu)共享權(quán)重 ,能夠極大地降低個(gè)體訓(xùn)練的計(jì)算量

   Supernet of CARS

   從超網(wǎng)中采樣不同的網(wǎng)絡(luò)  ,每個(gè)網(wǎng)絡(luò)可以表示為浮點(diǎn)參數(shù)集合以及二值連接參數(shù)集合  ,其中0值表示網(wǎng)絡(luò)不包含此連接  ,1值則表示使用該連接  ,即每個(gè)網(wǎng)絡(luò)可表示為對(duì)完整的浮點(diǎn)參數(shù)集合是在網(wǎng)絡(luò)集合中共享 ,如果這些網(wǎng)絡(luò)結(jié)構(gòu)是固定的  ,最優(yōu)的可通過(guò)標(biāo)準(zhǔn)反向傳播進(jìn)行優(yōu)化  ,優(yōu)化的參數(shù)適用于所有網(wǎng)絡(luò)以提高識(shí)別性能  。在參數(shù)收斂后  ,通過(guò)基因算法優(yōu)化二值連接  ,參數(shù)優(yōu)化階段和結(jié)構(gòu)優(yōu)化階段是CARS的主要核心

   參數(shù)優(yōu)化

   參數(shù)為網(wǎng)絡(luò)中的所有參數(shù)  ,參數(shù)  ,為mask操作  ,只保留對(duì)應(yīng)位置的參數(shù)  。對(duì)于輸入  ,網(wǎng)絡(luò)的結(jié)果為  ,為-th個(gè)網(wǎng)絡(luò)  ,為其參數(shù)

   給定GT  ,預(yù)測(cè)的損失為  ,則的梯度計(jì)算如公式1

   由于參數(shù)應(yīng)該適用于所有個(gè)體  ,因此使用所有個(gè)體的梯度來(lái)計(jì)算的梯度  ,計(jì)算如公式2  ,最終配合SGD進(jìn)行更新

   由于已經(jīng)得到大量帶超網(wǎng)共享參數(shù)的結(jié)構(gòu)  ,每次都集合所有網(wǎng)絡(luò)梯度進(jìn)行更新會(huì)相當(dāng)耗時(shí)  ,可以借鑒SGD的思想進(jìn)行min-batch更新 。使用個(gè)不同的網(wǎng)絡(luò)進(jìn)行參數(shù)更新  ,編號(hào)為  。計(jì)算如公式3 ,使用小批量網(wǎng)絡(luò)來(lái)接近所有網(wǎng)絡(luò)的梯度  ,能夠極大地減少優(yōu)化時(shí)間  ,做到效果和性能間的平衡  。

   結(jié)構(gòu)優(yōu)化

   對(duì)于結(jié)構(gòu)的優(yōu)化過(guò)程 ,使用NSGA-III算法的non-dominated排序策略進(jìn)行 。標(biāo)記為個(gè)不同的網(wǎng)絡(luò) ,為希望優(yōu)化的個(gè)指標(biāo) ,一般這些指標(biāo)都是有沖突的 ,例如參數(shù)量、浮點(diǎn)運(yùn)算量、推理時(shí)延和準(zhǔn)確率  ,導(dǎo)致同時(shí)優(yōu)化這些指標(biāo)會(huì)比較難  。

   首先定義支配(dominate)的概念  ,假設(shè)網(wǎng)絡(luò)的準(zhǔn)確率大于等于網(wǎng)絡(luò)  ,并且有一個(gè)其它指標(biāo)優(yōu)于網(wǎng)絡(luò)  ,則稱網(wǎng)絡(luò)支配網(wǎng)絡(luò) ,在進(jìn)化過(guò)程網(wǎng)絡(luò)可被網(wǎng)絡(luò)代替  。利用這個(gè)方法  ,可以在種群中挑選到一系列優(yōu)秀的結(jié)構(gòu) ,然后使用這些網(wǎng)絡(luò)來(lái)優(yōu)化超網(wǎng)對(duì)應(yīng)部分的參數(shù)  。

   盡管non-dominated排序能幫助選擇的更好網(wǎng)絡(luò)  ,但搜索過(guò)程仍可能會(huì)存在小模型陷阱現(xiàn)象  。由于超網(wǎng)的參數(shù)仍在訓(xùn)練  ,所以當(dāng)前輪次的模型不一定為其最優(yōu)表現(xiàn) ,如果存在一些參數(shù)少的小模型但有比較高的準(zhǔn)確率 ,則會(huì)統(tǒng)治了整個(gè)搜索過(guò)程  。因此 ,論文基于NSGA-III提出pNSGA-III ,加入準(zhǔn)確率提升速度作為考慮

   假設(shè)優(yōu)化目標(biāo)為模型參數(shù)和準(zhǔn)確率  ,對(duì)于NSGA-III  ,會(huì)根據(jù)兩個(gè)不同的指標(biāo)進(jìn)行non-dominated排序 ,然后根據(jù)帕累托圖進(jìn)行選擇  。而對(duì)于pNSGA-III  ,額外添加考慮準(zhǔn)確率的增長(zhǎng)速度的non-dominated排序  ,最后結(jié)合兩種排序進(jìn)行選擇  。這樣  ,準(zhǔn)確率增長(zhǎng)較慢的大模型也能得到保留  。如圖2所示  ,pNSGA-III很明顯保留的模型大小更廣  ,且準(zhǔn)確率與NSGA-III相當(dāng)  。

  

   CARS算法的連續(xù)優(yōu)化 CARS算法的優(yōu)化包含兩個(gè)步驟 ,分別是網(wǎng)絡(luò)結(jié)構(gòu)優(yōu)化和參數(shù)優(yōu)化  ,另外  ,在初期也會(huì)使用參數(shù)warmup  。

   Parameter Warmup  ,由于超網(wǎng)的共享權(quán)重是隨機(jī)初始化的  ,如果結(jié)構(gòu)集合也是隨機(jī)初始化  ,那么出現(xiàn)最多的block的訓(xùn)練次數(shù)會(huì)多于其它block  。因此  ,使用均分抽樣策略來(lái)初始化超網(wǎng)的參數(shù)  ,公平地覆蓋所有可能的網(wǎng)絡(luò)  ,每條路徑都有平等地出現(xiàn)概率  ,每種層操作也是平等概率 ,在最初幾輪使用這種策略來(lái)初始化超網(wǎng)的權(quán)重  。

   Architecture Optimization  ,在完成超網(wǎng)初始化后  ,隨機(jī)采樣個(gè)不同的結(jié)構(gòu)作為父代  ,為超參數(shù) ,后面pNSGA-III的篩選也使用  。在進(jìn)化過(guò)程中生成個(gè)子代  ,是用于控制子代數(shù)的超參 ,最后使用pNSGA-III從中選取個(gè)網(wǎng)絡(luò)用于參數(shù)更新 。

   Parameter Optimization ,給予網(wǎng)絡(luò)結(jié)構(gòu)合集  ,使用公式3進(jìn)行小批量梯度更新 。

   Search Time Analysis

   CARS搜索時(shí) ,將數(shù)據(jù)集分為數(shù)據(jù)集和驗(yàn)證集 ,假設(shè)單個(gè)網(wǎng)絡(luò)的訓(xùn)練耗時(shí)為 ,驗(yàn)證耗時(shí) ,warmup共周期 ,共需要時(shí)間來(lái)初始化超網(wǎng)的參數(shù)  。假設(shè)進(jìn)化共輪 ,每輪參數(shù)優(yōu)化階段對(duì)超網(wǎng)訓(xùn)練周期  ,所以每輪進(jìn)化的參數(shù)優(yōu)化耗時(shí)  ,為mini-batch大小 。結(jié)構(gòu)優(yōu)化階段  ,所有個(gè)體是并行的  ,所以搜索耗時(shí)為  。CARS的總耗時(shí)如公式5 。

   實(shí)驗(yàn)

  

   實(shí)驗(yàn)設(shè)置 supernet Backbones 超網(wǎng)主干基于DARTS的設(shè)置 ,DARTS搜索空間包含8個(gè)不同的操作 ,包含4種卷積、2種池化、skip連接和無(wú)連接  ,搜索normal cell和reduction cell ,分別用于特征提取以及下采樣  ,搜索結(jié)束后  ,根據(jù)預(yù)設(shè)將cell堆疊起來(lái)

   Evolution Details 在DARTS中  ,每個(gè)中間節(jié)點(diǎn)與之前的兩個(gè)節(jié)點(diǎn)連接  ,因此每個(gè)節(jié)點(diǎn)有其獨(dú)立的搜索空間  ,而交叉和變異在搜索空間相對(duì)應(yīng)的節(jié)點(diǎn)中進(jìn)行  ,占總數(shù)的比例均為0.25  ,其余0.5為隨機(jī)生成的新結(jié)構(gòu)  。對(duì)于交叉操作 ,每個(gè)節(jié)點(diǎn)有0.5的概率交叉其連接  ,而對(duì)于變異 ,每個(gè)節(jié)點(diǎn)有0.5的概率隨機(jī)賦予新操作  。

  

   CIFAR-10的實(shí)驗(yàn) Small Model Trap 圖3訓(xùn)練了3個(gè)不同大小的模型 ,在訓(xùn)練600輪后  ,模型的準(zhǔn)確率與其大小相關(guān)  ,從前50輪的曲線可以看出小模型陷阱的原因:

   小模型準(zhǔn)確率上升速度較快

   小模型準(zhǔn)確率的波動(dòng)較大

   在前50輪模型C一直處于下風(fēng)  ,若使用NSGA算法  ,模型C會(huì)直接去掉了  ,這是需要使用pNSGA-III的第一個(gè)原因 。對(duì)于模型B和C  ,準(zhǔn)確率增長(zhǎng)類似 ,但由于訓(xùn)練導(dǎo)致準(zhǔn)確率波動(dòng)  ,一旦模型A的準(zhǔn)確率高于B ,B就會(huì)被去掉  ,這是需要使用pNSGA-III的第二個(gè)原因

   NSGA-III vs. pNSGA-III 如圖2所示 ,使用pNSGA-III能避免小模型陷阱  ,保留較大的有潛力的網(wǎng)絡(luò)

   Search on CIFAR-10 將CIFAR分為25000張訓(xùn)練圖和25000張測(cè)試圖  ,共搜索500輪 ,參數(shù)warmup共50輪  ,之后初始化包含128個(gè)不同網(wǎng)絡(luò)的種群  ,然后使用pNSGA-III逐漸進(jìn)化  ,參數(shù)優(yōu)化階段每輪進(jìn)化訓(xùn)練10周期  ,結(jié)構(gòu)優(yōu)化階段根據(jù)pNSGA-III使用測(cè)試集進(jìn)行結(jié)構(gòu)更新

   Search Time analysis 對(duì)于考量模型大小和準(zhǔn)確率的實(shí)驗(yàn) ,訓(xùn)練時(shí)間為1分鐘  ,測(cè)試時(shí)間為5秒 ,warmup階段共50輪 ,大約耗費(fèi)1小時(shí)  。而連續(xù)進(jìn)化算法共輪  ,對(duì)于每輪結(jié)構(gòu)優(yōu)化階段 ,并行測(cè)試時(shí)間為 ,對(duì)于每輪的參數(shù)優(yōu)化階段 ,設(shè)定  ,大約為10分鐘 ,大約為9小時(shí) ,所以為0.4 GPU day  ,考慮結(jié)構(gòu)優(yōu)化同時(shí)要計(jì)算時(shí)延 ,最終時(shí)間大約為0.5 GPU day

   Evaluate on CIFAR-10 在完成CARS算法搜索后  ,保留128個(gè)不同的網(wǎng)絡(luò) ,進(jìn)行更長(zhǎng)時(shí)間的訓(xùn)練  ,然后測(cè)試準(zhǔn)確率 。

   Comparison on Searched Block CARS-H與DARTS參數(shù)相似  ,但準(zhǔn)確率更高  ,CARS-H的reduction block包含更多的參數(shù) ,而normal block包含更少的參數(shù)  ,大概由于EA有更大的搜索空間  ,而基因操作能更有效地跳出局部最優(yōu)解  ,這是EA的優(yōu)勢(shì)

  

   Evaluate on ILSVRC2012 將在CIFAR-10上搜索到網(wǎng)絡(luò)遷移到ILSVRC22012數(shù)據(jù)集  ,結(jié)果表明搜索到的結(jié)構(gòu)具備遷移能力 。

   結(jié)論

   為了優(yōu)化進(jìn)化算法在神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)搜索時(shí)候選網(wǎng)絡(luò)訓(xùn)練過(guò)長(zhǎng)的問(wèn)題  ,參考ENAS和NSGA-III  ,論文提出連續(xù)進(jìn)化結(jié)構(gòu)搜索方法(continuous evolution architecture search, CARS) ,最大化利用學(xué)習(xí)到的知識(shí)  ,如上一輪進(jìn)化的結(jié)構(gòu)和參數(shù)  。首先構(gòu)造用于參數(shù)共享的超網(wǎng) ,從超網(wǎng)中產(chǎn)生子網(wǎng)  ,然后使用None-dominated排序策略來(lái)選擇不同大小的優(yōu)秀網(wǎng)絡(luò)  ,整體耗時(shí)僅需要0.5 GPU day  。

      

  以上就是小編為大家介紹的華為提出基于進(jìn)化算法和權(quán)值共享的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)搜索,CIFAR-10上僅需單的全部?jī)?nèi)容,如果大家還對(duì)相關(guān)的內(nèi)容感興趣,請(qǐng)持續(xù)關(guān)注上海危機(jī)公關(guān)公司

  本文標(biāo)題:華為提出基于進(jìn)化算法和權(quán)值共享的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)搜索,CIFAR-10上僅需單  地址:/yuqingchuli/2022/0127/2880.html