齊魯工業(yè)大學(xué)(山東省科學(xué)院);山東省計(jì)算中心(國家超級(jí)計(jì)算濟(jì)南中心)郭瑩獲國家專利權(quán)
買專利賣專利找龍圖騰,真高效! 查專利查商標(biāo)用IPTOP,全免費(fèi)!專利年費(fèi)監(jiān)控用IP管家,真方便!
龍圖騰網(wǎng)獲悉齊魯工業(yè)大學(xué)(山東省科學(xué)院);山東省計(jì)算中心(國家超級(jí)計(jì)算濟(jì)南中心)申請(qǐng)的專利一種大數(shù)據(jù)管道中強(qiáng)化學(xué)習(xí)驅(qū)動(dòng)的智能伸縮與調(diào)優(yōu)方法獲國家發(fā)明授權(quán)專利權(quán),本發(fā)明授權(quán)專利權(quán)由國家知識(shí)產(chǎn)權(quán)局授予,授權(quán)公告號(hào)為:CN120315903B 。
龍圖騰網(wǎng)通過國家知識(shí)產(chǎn)權(quán)局官網(wǎng)在2025-08-15發(fā)布的發(fā)明授權(quán)授權(quán)公告中獲悉:該發(fā)明授權(quán)的專利申請(qǐng)?zhí)?專利號(hào)為:202510808471.3,技術(shù)領(lǐng)域涉及:G06F9/50;該發(fā)明授權(quán)一種大數(shù)據(jù)管道中強(qiáng)化學(xué)習(xí)驅(qū)動(dòng)的智能伸縮與調(diào)優(yōu)方法是由郭瑩;劉袁和;張秋萍;王春梅;岳龍飛;鄭鎮(zhèn)坤設(shè)計(jì)研發(fā)完成,并于2025-06-17向國家知識(shí)產(chǎn)權(quán)局提交的專利申請(qǐng)。
本一種大數(shù)據(jù)管道中強(qiáng)化學(xué)習(xí)驅(qū)動(dòng)的智能伸縮與調(diào)優(yōu)方法在說明書摘要公布了:本發(fā)明涉及一種大數(shù)據(jù)管道中強(qiáng)化學(xué)習(xí)驅(qū)動(dòng)的智能伸縮與調(diào)優(yōu)方法,涉及大數(shù)據(jù)處理與計(jì)算技術(shù)領(lǐng)域,包括:1數(shù)據(jù)管道運(yùn)行與狀態(tài)監(jiān)控;2資源指標(biāo)與特征提取;3數(shù)據(jù)預(yù)處理與模型初始化;4運(yùn)行基于LinUCB的動(dòng)態(tài)調(diào)整算法;5周期性重置與快速響應(yīng)機(jī)制;6資源配置結(jié)果應(yīng)用與評(píng)估;7調(diào)優(yōu)結(jié)果保存與持續(xù)優(yōu)化;本發(fā)明基于上下文老虎機(jī)算法的動(dòng)態(tài)調(diào)整策略,通過實(shí)時(shí)采集ApacheNiFi數(shù)據(jù)管道的系統(tǒng)狀態(tài)特征,結(jié)合在線學(xué)習(xí)機(jī)制,逐步優(yōu)化線程數(shù)、內(nèi)存分配和CPU核心數(shù)的配置,并基于此實(shí)現(xiàn)數(shù)據(jù)管道的智能伸縮與調(diào)優(yōu),以提升吞吐率、資源利用率和負(fù)載均衡能力。
本發(fā)明授權(quán)一種大數(shù)據(jù)管道中強(qiáng)化學(xué)習(xí)驅(qū)動(dòng)的智能伸縮與調(diào)優(yōu)方法在權(quán)利要求書中公布了:1.一種大數(shù)據(jù)管道中強(qiáng)化學(xué)習(xí)驅(qū)動(dòng)的智能伸縮與調(diào)優(yōu)方法,其特征在于,包括: 步驟一:數(shù)據(jù)管道運(yùn)行與狀態(tài)監(jiān)控; 在ApacheNiFi數(shù)據(jù)管道中運(yùn)行數(shù)據(jù)處理任務(wù),數(shù)據(jù)處理任務(wù)包括:數(shù)據(jù)的采集、轉(zhuǎn)換和分發(fā);通過處理器執(zhí)行數(shù)據(jù)流處理;實(shí)時(shí)監(jiān)控系統(tǒng)運(yùn)行狀態(tài);系統(tǒng)是指運(yùn)行ApacheNiFi和其他構(gòu)成數(shù)據(jù)管道的分布式計(jì)算環(huán)境;采集多維狀態(tài)特征,包括:處理器忙碌度、輸入隊(duì)列長度、輸出隊(duì)列長度、系統(tǒng)負(fù)載、內(nèi)存使用率和CPU使用率; 步驟二:資源指標(biāo)與特征提取; 定義資源指標(biāo),包括動(dòng)態(tài)資源指標(biāo)和靜態(tài)資源指標(biāo);基于采集的多維狀態(tài)特征,提取多維特征向量,包括隊(duì)列變化率、隊(duì)列壓力、處理器效率及資源交互特征; 步驟三:數(shù)據(jù)預(yù)處理與模型初始化; 對(duì)采集的多維狀態(tài)特征進(jìn)行預(yù)處理,包括歸一化處理,初始化LinUCB模型,設(shè)定特征維度、探索參數(shù)及初始臂集合; 步驟四:運(yùn)行基于LinUCB的動(dòng)態(tài)調(diào)整算法; 步驟五:周期性重置與快速響應(yīng)機(jī)制; 周期性對(duì)LinUCB模型先驗(yàn)參數(shù)進(jìn)行衰減重置,鼓勵(lì)重新探索潛在最優(yōu)配置;在極端場(chǎng)景下即隊(duì)列積壓超過閾值或系統(tǒng)負(fù)載超過80%,觸發(fā)快速響應(yīng)策略,限制可選臂范圍,迅速緩解系統(tǒng)壓力; 步驟六:資源配置結(jié)果應(yīng)用與評(píng)估; 將LinUCB算法選定的最優(yōu)配置應(yīng)用于ApacheNiFi數(shù)據(jù)管道,實(shí)時(shí)調(diào)整處理器并行度和節(jié)點(diǎn)資源分配;評(píng)估調(diào)整后的系統(tǒng)性能,包括吞吐率、隊(duì)列積壓情況和資源利用率,以驗(yàn)證優(yōu)化效果; 步驟七:調(diào)優(yōu)結(jié)果保存與持續(xù)優(yōu)化; 記錄每次調(diào)整的配置、上下文特征和獎(jiǎng)勵(lì)值,保存LinUCB模型狀態(tài);通過加載歷史模型,支持系統(tǒng)重啟后的快速恢復(fù),并持續(xù)優(yōu)化系統(tǒng)伸縮性能。
如需購買、轉(zhuǎn)讓、實(shí)施、許可或投資類似專利技術(shù),可聯(lián)系本專利的申請(qǐng)人或?qū)@麢?quán)人齊魯工業(yè)大學(xué)(山東省科學(xué)院);山東省計(jì)算中心(國家超級(jí)計(jì)算濟(jì)南中心),其通訊地址為:250353 山東省濟(jì)南市長清區(qū)大學(xué)路3501號(hào);或者聯(lián)系龍圖騰網(wǎng)官方客服,聯(lián)系龍圖騰網(wǎng)可撥打電話0551-65771310或微信搜索“龍圖騰網(wǎng)”。
1、本報(bào)告根據(jù)公開、合法渠道獲得相關(guān)數(shù)據(jù)和信息,力求客觀、公正,但并不保證數(shù)據(jù)的最終完整性和準(zhǔn)確性。
2、報(bào)告中的分析和結(jié)論僅反映本公司于發(fā)布本報(bào)告當(dāng)日的職業(yè)理解,僅供參考使用,不能作為本公司承擔(dān)任何法律責(zé)任的依據(jù)或者憑證。


熱門推薦
- 極光先進(jìn)雷射株式會(huì)社淵向篤獲國家專利權(quán)
- 華為技術(shù)有限公司張向東獲國家專利權(quán)
- 深圳市速騰聚創(chuàng)科技有限公司王超獲國家專利權(quán)
- 華為技術(shù)有限公司樊波獲國家專利權(quán)
- 意法半導(dǎo)體股份有限公司S·克斯坦蒂尼獲國家專利權(quán)
- 中國鐵建高新裝備股份有限公司唐明明獲國家專利權(quán)
- 深圳鈕邁科技有限公司賴燊獲國家專利權(quán)
- 中國鐵建高新裝備股份有限公司劉飛香獲國家專利權(quán)
- 海信視像科技股份有限公司黃飛獲國家專利權(quán)
- 上海電氣集團(tuán)股份有限公司熊宇獲國家專利權(quán)