杭州數瀾科技有限公司傅思雨獲國家專利權
買專利賣專利找龍圖騰,真高效! 查專利查商標用IPTOP,全免費!專利年費監控用IP管家,真方便!
龍圖騰網獲悉杭州數瀾科技有限公司申請的專利一種用于數據生命周期的智能識別優化系統獲國家發明授權專利權,本發明授權專利權由國家知識產權局授予,授權公告號為:CN115437997B 。
龍圖騰網通過國家知識產權局官網在2025-08-19發布的發明授權授權公告中獲悉:該發明授權的專利申請號/專利號為:202210879571.1,技術領域涉及:G06F16/11;該發明授權一種用于數據生命周期的智能識別優化系統是由傅思雨;甘云鋒;江敏;高雁冰;范圖強設計研發完成,并于2022-07-25向國家知識產權局提交的專利申請。
本一種用于數據生命周期的智能識別優化系統在說明書摘要公布了:本發明公開了一種用于數據生命周期的智能識別優化系統,包括存儲管理模塊和策略管理模塊;存儲管理包括分析模塊和治理模塊,分析模塊通過分析文件系統的小文件數量和冷數據容量,以及存儲節點的健康程度來評估系統的存儲健康分;治理模塊則根據健康分指定相應的存儲策略,通過遷移工具實現優化存儲,再通過統計圖表全面掌握存儲和治理情況;策略管理模塊支持對分層存儲策略、分析策略和壓縮策略進行管理,用戶為目錄設置分層存儲策略和壓縮策略來優化文件存儲;為小文件、冷數據設置分析策略幫助進行數據分析;本發明提供了能了解各個目錄乃至文件的健康情況,并進行優化存儲的一種用于數據生命周期的智能識別優化系統。
本發明授權一種用于數據生命周期的智能識別優化系統在權利要求書中公布了:1.一種用于數據生命周期的智能識別優化系統,其特征在于:包括存儲管理模塊和策略管理模塊; 存儲管理包括分析模塊和治理模塊,分析模塊通過分析文件系統的小文件數量和冷數據容量,以及存儲節點的健康程度來評估系統的存儲健康分;治理模塊則根據健康分指定相應的存儲策略,通過遷移工具實現優化存儲,再通過統計圖表全面掌握存儲和治理情況; 策略管理模塊支持對分層存儲策略、分析策略和壓縮策略進行管理,用戶為目錄設置分層存儲策略和壓縮策略來優化文件存儲;為小文件、冷數據設置分析策略幫助進行數據分析; 其中,整體技術框架的底層包括MySQL、Hive和HDFS,通過HiveClient連接Hive、WebHDFS和dfsadmin來訪問HDFS,以獲取Hive和HDFS的數據,并使用MyBatis與MySQL交互,用于存儲數據; 具體步驟如下: 101元數據獲取步驟:采用分析fsimage的方式來獲取HDFS元數據; 102元數據索引步驟:將步驟101獲取到的元數據文件進行解析,構建成多叉樹的結構; 103數據分析步驟:進行統計目錄下所有文件個數及規模和不同數據類型的個數及規模,進行總量統計、排行分析、占比分析,從而得到存儲健康分; 其中,數據分析包括小文件分析、冷數據分析、熱數據分析、表分析、損壞塊分析和磁盤內存分析;冷數據為沒有設置分層存儲策略、糾刪碼策略的數據; 存儲健康分S的計算公式如下: 其中,每一項扣分數均不能超過各項總分數;n為節點個數,為每個節點分數,w1為使用量超過閾值的磁盤節點數,m為磁盤數量,為每塊磁盤的分值,w2為磁盤超過閾值的數量;y為未處理的冷數據大小,每100G,扣1分;z為文件塊損壞數量,每損壞10個,扣1分;t為小文件閾值個數; 104數據策略配置步驟:包括分層存儲策略、分析策略和壓縮策略;分層存儲策略即異構存儲策略,根據數據訪問的熱度將數據存儲在不同的存儲介質上,從而使得HDFS的存儲能夠靈活高效地應對各種應用場景;分析策略通過設置用戶對小文件的定義、小文件個數閾值的設置,設置冷數據的定義和冷數據總量的閾值,設置磁盤容量的閾值,設置系統執行分析的調度時間閾值;壓縮策略設置糾刪碼,實現查看當前可選的所有糾刪碼,以保障數據遷移,并查看和記錄遷移日志。
如需購買、轉讓、實施、許可或投資類似專利技術,可聯系本專利的申請人或專利權人杭州數瀾科技有限公司,其通訊地址為:310000 浙江省杭州市余杭區倉前街道良睦路1288號3幢1單元;或者聯系龍圖騰網官方客服,聯系龍圖騰網可撥打電話0551-65771310或微信搜索“龍圖騰網”。
1、本報告根據公開、合法渠道獲得相關數據和信息,力求客觀、公正,但并不保證數據的最終完整性和準確性。
2、報告中的分析和結論僅反映本公司于發布本報告當日的職業理解,僅供參考使用,不能作為本公司承擔任何法律責任的依據或者憑證。