- 相關(guān)推薦
數(shù)據(jù)挖掘論文（一）：
題目：檔案信息管理系統(tǒng)中的計(jì)算機(jī)數(shù)據(jù)挖掘技術(shù)探討
摘要：伴隨著計(jì)算機(jī)技術(shù)的不斷進(jìn)步和發(fā)展，數(shù)據(jù)挖掘技術(shù)成為數(shù)據(jù)處理工作中的重點(diǎn)技術(shù)，能借助相關(guān)算法搜索相關(guān)信息，在節(jié)省人力資本的同時(shí)，提高數(shù)據(jù)檢索的實(shí)際效率，基于此，被廣泛應(yīng)用在數(shù)據(jù)密集型行業(yè)中。筆者簡(jiǎn)要分析了計(jì)算機(jī)數(shù)據(jù)挖掘技術(shù)，并集中闡釋了檔案信息管理系統(tǒng)計(jì)算機(jī)數(shù)據(jù)倉(cāng)庫(kù)的建立和技術(shù)實(shí)現(xiàn)過(guò)程，以供參考。
關(guān)鍵詞：檔案信息管理系統(tǒng);計(jì)算機(jī);數(shù)據(jù)挖掘技術(shù);
1數(shù)據(jù)挖掘技術(shù)概述
數(shù)據(jù)挖掘技術(shù)就是指在超多隨機(jī)數(shù)據(jù)中提取隱含信息，并且將其整合后應(yīng)用在知識(shí)處理體系的技術(shù)過(guò)程。若是從技術(shù)層面判定數(shù)據(jù)挖掘技術(shù)，則需要將其劃分在商業(yè)數(shù)據(jù)處理技術(shù)中，整合商業(yè)數(shù)據(jù)提取和轉(zhuǎn)化機(jī)制，并且建構(gòu)更加系統(tǒng)化的分析模型和處理機(jī)制，從根本上優(yōu)化商業(yè)決策。借助數(shù)據(jù)挖掘技術(shù)能建構(gòu)完整的數(shù)據(jù)倉(cāng)庫(kù)，滿足集成性、時(shí)變性以及非易失性等需求，整和數(shù)據(jù)處理和冗余參數(shù)，確保技術(shù)框架結(jié)構(gòu)的完整性。
目前，數(shù)據(jù)挖掘技術(shù)常用的工具，如SAS企業(yè)的EnterpriseMiner、IBM企業(yè)的IntellientMiner以及SPSS企業(yè)的Clementine等應(yīng)用都十分廣泛。企業(yè)在實(shí)際工作過(guò)程中，往往會(huì)利用數(shù)據(jù)源和數(shù)據(jù)預(yù)處理工具進(jìn)行數(shù)據(jù)定型和更新管理，并且應(yīng)用聚類分析模塊、決策樹分析模塊以及關(guān)聯(lián)分析算法等，借助數(shù)據(jù)挖掘技術(shù)對(duì)相關(guān)數(shù)據(jù)進(jìn)行處理。
2檔案信息管理系統(tǒng)計(jì)算機(jī)數(shù)據(jù)倉(cāng)庫(kù)的建立
2.1客戶需求單元
為了充分發(fā)揮檔案信息管理系統(tǒng)的優(yōu)勢(shì)，要結(jié)合客戶的實(shí)際需求建立完整的處理框架體系。在數(shù)據(jù)庫(kù)體系建立中，要適應(yīng)迭代式處理特征，并且從用戶需求出發(fā)整合數(shù)據(jù)模型，保證其建立過(guò)程能按照整體規(guī)劃有序進(jìn)行，且能按照目標(biāo)和分析框架參數(shù)完成操作。首先，要確立基礎(chǔ)性的數(shù)據(jù)倉(cāng)庫(kù)對(duì)象，由于是檔案信息管理，因此，要集中劃分檔案數(shù)據(jù)分析的主題，并且有效錄入檔案信息，確保滿足檔案的數(shù)據(jù)分析需求。其次，要對(duì)日常工作中的用戶數(shù)據(jù)進(jìn)行集中的挖掘處理，從根本上提高數(shù)據(jù)倉(cāng)庫(kù)分析的完整性。
(1)確定數(shù)據(jù)倉(cāng)庫(kù)的基礎(chǔ)性用戶，其中，主要包括檔案工作人員和使用人員，結(jié)合不同人員的工作需求建立相應(yīng)的數(shù)據(jù)倉(cāng)庫(kù)。
(2)檔案工作要利用數(shù)據(jù)分析和檔案用戶特征分析進(jìn)行分類描述。
(3)確定檔案的基礎(chǔ)性分類主題，一般而言，要將文書檔案歸檔狀況、卷數(shù)等基礎(chǔ)性信息作為分類依據(jù)。
2.2數(shù)據(jù)庫(kù)設(shè)計(jì)單元
在設(shè)計(jì)過(guò)程中，要針對(duì)不同維度建立相應(yīng)的參數(shù)體系和組成結(jié)構(gòu)，并且有效整合組成事實(shí)表的主鍵項(xiàng)目，建立框架結(jié)構(gòu)。
第一，建立事實(shí)表。事實(shí)表是數(shù)據(jù)模型的核心單元，主要是記錄相關(guān)業(yè)務(wù)和統(tǒng)計(jì)數(shù)據(jù)的表，能整合數(shù)據(jù)倉(cāng)庫(kù)中的信息單元，并且提升多維空間處理效果，確保數(shù)據(jù)儲(chǔ)存過(guò)程切實(shí)有效。(1)檔案管理中文書檔案目錄卷數(shù)事實(shí)表:事實(shí)表主鍵，字段類型Int，字段為Id;文書歸檔年份，字段類型Int，字段為Gdyear_key;文書歸檔類型，字段類型Int，字段為Ajtm_key;文書歸檔單位，字段類型Int，字段為Gddw_key;文書檔案生成年份，字段類型Int，字段為Ajscsj_key，以及文書檔案包括的文件數(shù)目。(2)檔案管理中文書檔案卷數(shù)事實(shí)表:事實(shí)表主鍵，字段類型Int，字段為Id;文書歸檔利用日期，字段類型Int，字段為Date_key;文書歸檔利用單位，字段類型Int，字段為Dw_key;文書歸檔利用類別，字段類型Int，字段為Dalb_key;文書歸檔利用年份，字段類型Int，字段為Dayear_key等[1]。
第二，建立維度表，在實(shí)際數(shù)據(jù)倉(cāng)庫(kù)建立和運(yùn)維工作中，提高數(shù)據(jù)管理效果和水平，確保建立循環(huán)和反饋的系統(tǒng)框架體系，并且處理增長(zhǎng)過(guò)程和完善過(guò)程，有效實(shí)現(xiàn)數(shù)據(jù)庫(kù)模型設(shè)計(jì)以及相關(guān)維護(hù)操作。首先，要對(duì)模式的基礎(chǔ)性維度進(jìn)行分析并且制作相應(yīng)的表，主要包括檔案年度維表、利用方式維表等。其次，要建構(gòu)數(shù)據(jù)庫(kù)星型模型體系。最后，要集中判定數(shù)據(jù)庫(kù)工具，保證數(shù)據(jù)庫(kù)平臺(tái)在客戶管理工作方面具備必須的優(yōu)勢(shì)，集中制訂商務(wù)智能解決方案，保證集成環(huán)境的穩(wěn)定性和數(shù)據(jù)倉(cāng)庫(kù)建模的效果，真正提高數(shù)據(jù)抽取以及轉(zhuǎn)換工作的實(shí)際水平。需要注意的是，在全面整合和分析處理數(shù)據(jù)的過(guò)程中，要分離文書檔案中的數(shù)據(jù)，相關(guān)操作如下:
deletefromdaggdtemp//刪除臨時(shí)表中的數(shù)據(jù)
Chcount=dag1.importfile(dbo.uwswj)//將文書目錄中數(shù)據(jù)導(dǎo)出到數(shù)據(jù)窗口
Dag1.update()//將數(shù)據(jù)窗口中的數(shù)據(jù)保存到臨時(shí)表
相關(guān)技術(shù)人員要對(duì)數(shù)據(jù)進(jìn)行有效處理，以保證相關(guān)數(shù)據(jù)合并操作、連接操作以及條件性拆分操作等都能按照數(shù)據(jù)預(yù)處理管理要求合理化進(jìn)行，從根本上維護(hù)數(shù)據(jù)處理效果。
2.3多維數(shù)據(jù)模型建立單元
在檔案多維數(shù)據(jù)模型建立的過(guò)程中，相關(guān)技術(shù)人員要判定聯(lián)機(jī)分析處理項(xiàng)目和數(shù)據(jù)挖掘方案，整合信息系統(tǒng)中的數(shù)據(jù)源、數(shù)據(jù)視圖、維度參數(shù)以及屬性參數(shù)等，保證具體單元能發(fā)揮其實(shí)際作用，并且真正發(fā)揮檔案維表的穩(wěn)定性、安全性優(yōu)勢(shì)。
第一，檔案事實(shí)表中的數(shù)據(jù)穩(wěn)定，事實(shí)表是加載和處理檔案數(shù)據(jù)的基本模塊，按照檔案目錄數(shù)據(jù)表和檔案利用狀況表分析和判定其類別和歸檔時(shí)間，從而提高數(shù)據(jù)獨(dú)立分析水平。一方面，能追加有效的數(shù)據(jù)，保證數(shù)據(jù)倉(cāng)庫(kù)信息的基本質(zhì)量，也能追加時(shí)間判定標(biāo)準(zhǔn)，能在實(shí)際操作中減少掃描整個(gè)表浪費(fèi)的時(shí)間，從根本上提高實(shí)際效率。另一方面，能刪除數(shù)據(jù)，實(shí)現(xiàn)數(shù)據(jù)更新，檢索相關(guān)關(guān)鍵詞即可。并且也能同時(shí)修改數(shù)據(jù)，維護(hù)檔案撤出和檔案追加的動(dòng)態(tài)化處理效果。
第二，檔案維表的安全性。在維表管理工作中，檔案參數(shù)和數(shù)據(jù)的安全穩(wěn)定性十分關(guān)鍵，由于其不會(huì)隨著時(shí)間的推移出現(xiàn)變化，因此，要對(duì)其進(jìn)行合理的處理和協(xié)調(diào)。維表本身的存儲(chǔ)空間較小，盡管結(jié)構(gòu)發(fā)生變化的概率不大，但仍會(huì)對(duì)代表的對(duì)象產(chǎn)生影響，這就會(huì)使得數(shù)據(jù)出現(xiàn)動(dòng)態(tài)的變化。對(duì)于這種改變，需要借助新維生成的方式進(jìn)行處理，從而保證不同維表能有效連接，整合正確數(shù)據(jù)的同時(shí)，也能對(duì)事實(shí)表外鍵進(jìn)行分析[2]。
3檔案信息管理系統(tǒng)計(jì)算機(jī)數(shù)據(jù)倉(cāng)庫(kù)的實(shí)現(xiàn)
3.1描述需求
隨著互聯(lián)網(wǎng)技術(shù)和數(shù)據(jù)庫(kù)技術(shù)不斷進(jìn)步，要提高檔案數(shù)字化水平以及完善信息化整合機(jī)制，加快數(shù)據(jù)庫(kù)管控體系的更新，確保設(shè)備存儲(chǔ)以及網(wǎng)絡(luò)環(huán)境一體化水平能滿足需求，尤其是在檔案資源重組和預(yù)測(cè)項(xiàng)目中，只有從根本上落實(shí)數(shù)據(jù)挖掘體系，才能為后續(xù)信息檔案管理項(xiàng)目升級(jí)奠定堅(jiān)實(shí)基礎(chǔ)。另外，在數(shù)據(jù)表和文書等基礎(chǔ)性數(shù)據(jù)結(jié)構(gòu)模型建立的基礎(chǔ)上，要按照規(guī)律制定具有個(gè)性化的主動(dòng)性服務(wù)機(jī)制。
3.2關(guān)聯(lián)計(jì)算
在實(shí)際檔案分析工作開展過(guò)程中，關(guān)聯(lián)算法描述十分關(guān)鍵，能對(duì)某些行為特征進(jìn)行統(tǒng)籌整合，從而制定分析決策。在進(jìn)行關(guān)聯(lián)規(guī)則強(qiáng)度分析時(shí)，要結(jié)合支持度和置信度等系統(tǒng)化數(shù)據(jù)進(jìn)行綜合衡量。例如，檔案數(shù)據(jù)庫(kù)中有A和B兩個(gè)基礎(chǔ)項(xiàng)集合，支持度為P(A∪B)，則直接表述了A和B在同一時(shí)間出現(xiàn)的基礎(chǔ)性概率。若是兩者出現(xiàn)的概率并不大，則證明兩者之間的關(guān)聯(lián)度較低。若是兩者出現(xiàn)的概率較大，則說(shuō)明兩者的關(guān)聯(lián)度較高。另外，在分析置信度時(shí)，利用Confidence(A→B)=(A|B)，也能有效判定兩者之間的關(guān)系。在出現(xiàn)置信度A的狀況下，B的出現(xiàn)概率則是整體參數(shù)關(guān)系的關(guān)鍵，若是置信度的數(shù)值到達(dá)100%，則直接證明A和B能同一時(shí)間出現(xiàn)。
3.3神經(jīng)網(wǎng)絡(luò)算法
除了要對(duì)檔案的實(shí)際資料進(jìn)行數(shù)據(jù)分析和數(shù)據(jù)庫(kù)建構(gòu)，也要對(duì)其利用狀況進(jìn)行判定，目前較為常見的利用率分析算法就是神經(jīng)網(wǎng)絡(luò)算法，其借助數(shù)據(jù)分類系統(tǒng)判定和分析數(shù)據(jù)對(duì)象。值得注意的是，在分類技術(shù)結(jié)構(gòu)中，要結(jié)合訓(xùn)練數(shù)據(jù)集判定分類模型數(shù)據(jù)挖掘結(jié)構(gòu)。神經(jīng)網(wǎng)絡(luò)算法類似于人腦系統(tǒng)的運(yùn)行結(jié)構(gòu)，能建立完整的信息處理單元，并且能夠整合非線性交換結(jié)構(gòu)，確保能憑借歷史數(shù)據(jù)對(duì)計(jì)算模型和分類體系展開深度分析[3]。
3.4實(shí)現(xiàn)多元化應(yīng)用
在檔案管理工作中應(yīng)用計(jì)算機(jī)數(shù)據(jù)挖掘技術(shù)，能對(duì)檔案分類管理予以分析，保證信息需求分類總結(jié)工作的完整程度。尤其是檔案使用者在對(duì)檔案具體特征進(jìn)行差異化分析的過(guò)程中，能結(jié)合不同的元素對(duì)具體問(wèn)題展開深度調(diào)研。一方面，計(jì)算機(jī)數(shù)據(jù)挖掘技術(shù)借助決策樹算法處理規(guī)則化的檔案分析機(jī)制。在差異化訓(xùn)練體系中，要對(duì)數(shù)據(jù)集合中的數(shù)據(jù)進(jìn)行系統(tǒng)化分析以及處理，確保構(gòu)建要求能適應(yīng)數(shù)據(jù)挖掘的基本結(jié)構(gòu)[4]。例如，檔案管理人員借助數(shù)據(jù)挖掘技術(shù)能整合檔案使用人員長(zhǎng)期瀏覽與關(guān)注的信息，并且能集中收集和匯總間隔時(shí)間、信息查詢停留時(shí)間等，從而建構(gòu)完整的數(shù)據(jù)分析機(jī)制，有效向其推送或者是帶給便捷化查詢服務(wù)，保證檔案管理數(shù)字化水平的提高。另一方面，在檔案收集管理工作中應(yīng)用數(shù)據(jù)挖掘技術(shù)，主要是對(duì)數(shù)據(jù)信息進(jìn)行分析，結(jié)合基本結(jié)果建立概念模型，保證模型以及測(cè)試樣本之間的比較參數(shù)貼合標(biāo)準(zhǔn)，從而真正建立更加系統(tǒng)化的分類框架體系。
4結(jié)語(yǔ)
總而言之，在檔案管理工作中應(yīng)用數(shù)據(jù)挖掘技術(shù)，能在準(zhǔn)確判定用戶需求的同時(shí)，維護(hù)數(shù)據(jù)處理效果，并且減少檔案數(shù)字化的成本，為后續(xù)工作的進(jìn)一步優(yōu)化奠定堅(jiān)實(shí)基礎(chǔ)。并且，數(shù)據(jù)庫(kù)的建立，也能節(jié)省經(jīng)費(fèi)和設(shè)備維護(hù)成本，真正實(shí)現(xiàn)數(shù)字化全面發(fā)展的目標(biāo)，促進(jìn)檔案信息管理工作的長(zhǎng)效進(jìn)步。
參考文獻(xiàn)
[1]曾雪峰.計(jì)算機(jī)數(shù)據(jù)挖掘技術(shù)開發(fā)及其在檔案信息管理中的運(yùn)用研究[J].科技創(chuàng)新與應(yīng)用，2016(9):285.
[2]王曉燕.數(shù)據(jù)挖掘技術(shù)在檔案信息管理中的應(yīng)用[J].蘭臺(tái)世界，2014(23):25-26.
[3]韓吉義.基于數(shù)據(jù)挖掘技術(shù)的高校圖書館檔案信息管理平臺(tái)的構(gòu)筑[J].山西檔案，2015(6):61-63.
[4]哈立原.基于數(shù)據(jù)挖掘技術(shù)的高校圖書館檔案信息管理平臺(tái)構(gòu)建[J].山西檔案，2016(5):105-107.
數(shù)據(jù)挖掘論文（二）：
數(shù)據(jù)挖掘在電力調(diào)度自動(dòng)化系統(tǒng)的運(yùn)用
關(guān)鍵詞：數(shù)據(jù)挖掘；電力調(diào)度自動(dòng)化系統(tǒng)；周期性關(guān)聯(lián)規(guī)則挖掘算法
摘要：電力調(diào)度自動(dòng)化系統(tǒng)對(duì)電力數(shù)據(jù)的收集和整理工作質(zhì)量有著較高要求，而為了滿足這一要求近年來(lái)數(shù)據(jù)挖掘技術(shù)日漸受到電力行業(yè)重視，基于此，文章就數(shù)據(jù)挖掘技術(shù)進(jìn)行了簡(jiǎn)單介紹，并對(duì)數(shù)據(jù)挖掘在電力調(diào)度自動(dòng)化系統(tǒng)中的應(yīng)用進(jìn)行了深入論述，期望論述資料能夠?yàn)橄嚓P(guān)業(yè)內(nèi)人士帶來(lái)必須啟發(fā)。
前言
電力數(shù)據(jù)收集、整理質(zhì)量直接影響電力調(diào)度自動(dòng)化系統(tǒng)的控制和管理水平，但由于很多價(jià)值較高的數(shù)據(jù)信息往往位于隱藏的數(shù)據(jù)之中，這就使得傳統(tǒng)方法不能較好滿足電力調(diào)度自動(dòng)化系統(tǒng)需要，而為了解決這一問(wèn)題，正是本文就數(shù)據(jù)挖掘在電力調(diào)度自動(dòng)化系統(tǒng)中應(yīng)用展開具體研究的原因所在。
1數(shù)據(jù)挖掘技術(shù)
在大數(shù)據(jù)時(shí)代到來(lái)的這天，數(shù)據(jù)挖掘技術(shù)能夠從海量數(shù)據(jù)信息中準(zhǔn)確找到所求信息，因此本文將數(shù)據(jù)挖掘技術(shù)視作“采用有效工具和措施從海量數(shù)據(jù)庫(kù)中提取數(shù)據(jù)和模型關(guān)系”的技術(shù)，由此企業(yè)的決策能夠得到充足的決定依據(jù)。為了更直觀了解數(shù)據(jù)挖掘技術(shù)，本文將數(shù)據(jù)挖掘的過(guò)程和步驟概括為以下幾個(gè)方面：（1）確定業(yè)務(wù)對(duì)象。確定業(yè)務(wù)對(duì)象屬于數(shù)據(jù)挖掘過(guò)程的基礎(chǔ)工作，這一過(guò)程的實(shí)質(zhì)是了解業(yè)務(wù)問(wèn)題。（2）準(zhǔn)備數(shù)據(jù)。透過(guò)選取數(shù)據(jù)、數(shù)據(jù)預(yù)處理、轉(zhuǎn)換數(shù)據(jù)三個(gè)層面的工作，即可完成針對(duì)于挖掘算法的分析模型構(gòu)建，并最終完成必須領(lǐng)域的數(shù)據(jù)挖掘。
2數(shù)據(jù)挖掘在電力調(diào)度自動(dòng)化系統(tǒng)中的應(yīng)用
2.1應(yīng)用方式
神經(jīng)網(wǎng)絡(luò)、灰色分析法、關(guān)聯(lián)規(guī)則均能夠用于電力調(diào)度自動(dòng)化系統(tǒng)的數(shù)據(jù)挖掘，具體應(yīng)用如下所示。
�。�1）神經(jīng)網(wǎng)絡(luò)。作為應(yīng)用較為廣泛的一種人工智能研究方法，神經(jīng)網(wǎng)絡(luò)早已在我國(guó)實(shí)現(xiàn)了較為廣泛的應(yīng)用，電力調(diào)度自動(dòng)化系統(tǒng)的數(shù)據(jù)挖掘也是其應(yīng)用的重要領(lǐng)域，由于數(shù)據(jù)自行處理、數(shù)據(jù)分布存儲(chǔ)、高度容錯(cuò)性是神經(jīng)網(wǎng)絡(luò)的應(yīng)用優(yōu)勢(shì)所在，這就使得神經(jīng)網(wǎng)絡(luò)較為適用于模糊、不完整、不準(zhǔn)確數(shù)據(jù)的處理。在電力調(diào)度自動(dòng)化系統(tǒng)的數(shù)據(jù)挖掘中，神經(jīng)網(wǎng)絡(luò)主要透過(guò)關(guān)聯(lián)分析的方式實(shí)現(xiàn)數(shù)據(jù)邏輯處理，具體處理能夠分為以下幾個(gè)方面：a.整合統(tǒng)一基礎(chǔ)數(shù)據(jù)。由于電力調(diào)度自動(dòng)化系統(tǒng)包含的數(shù)據(jù)具備龐大復(fù)雜、種類繁多的特點(diǎn)，因此神經(jīng)網(wǎng)絡(luò)的應(yīng)用需要透過(guò)整合統(tǒng)一使相關(guān)數(shù)據(jù)構(gòu)成結(jié)構(gòu)模型，透過(guò)神經(jīng)網(wǎng)絡(luò)系統(tǒng)實(shí)現(xiàn)數(shù)據(jù)統(tǒng)一管理。b.實(shí)現(xiàn)不同環(huán)節(jié)電力調(diào)度的關(guān)聯(lián)。應(yīng)用數(shù)據(jù)挖掘神經(jīng)網(wǎng)絡(luò)方法整理不同環(huán)節(jié)的電流狀態(tài)和參數(shù)，并保證相關(guān)數(shù)據(jù)信息的整合性，即可實(shí)現(xiàn)不同環(huán)節(jié)電力調(diào)度的關(guān)聯(lián)。c.分析與決策。結(jié)合神經(jīng)網(wǎng)絡(luò)整理的整合數(shù)據(jù)，即可開展分析、決策以及數(shù)據(jù)共享。
�。�2）灰色分析法。灰色分析法能夠較好分析電力調(diào)度過(guò)程出現(xiàn)的不完整數(shù)據(jù)，但不適用于較為龐大的數(shù)據(jù)是該數(shù)據(jù)挖掘方法存在的不足。一般狀況下，灰色分析法的應(yīng)用需要深入了解設(shè)備數(shù)據(jù)參數(shù)，如用戶用電狀況預(yù)測(cè)、母線負(fù)荷數(shù)據(jù)值、電力銷售狀況預(yù)測(cè)等，結(jié)合分析確定電力調(diào)度邊界電量，即可提升數(shù)據(jù)收集的可靠性，電力調(diào)度自動(dòng)化系統(tǒng)的運(yùn)行也將由此獲得較為有力的支持。
�。�3）關(guān)聯(lián)規(guī)則。作為數(shù)據(jù)挖掘的重要分支，關(guān)聯(lián)規(guī)則能夠透過(guò)發(fā)覺(jué)超多數(shù)據(jù)項(xiàng)集之間的搞笑關(guān)聯(lián)和相互聯(lián)系實(shí)現(xiàn)信息的高質(zhì)量分析，剛剛提到的神經(jīng)網(wǎng)絡(luò)嚴(yán)格好處上也屬于關(guān)聯(lián)規(guī)則范疇，但是本文關(guān)于關(guān)聯(lián)規(guī)則的研究主要圍繞周期性關(guān)聯(lián)規(guī)則挖掘算法展開。周期性關(guān)聯(lián)規(guī)則挖掘算法具備掃描數(shù)據(jù)庫(kù)次數(shù)較少、避免掃描數(shù)據(jù)庫(kù)的時(shí)間開銷、連接程序中相同項(xiàng)目的比較次數(shù)較少、數(shù)據(jù)項(xiàng)集頻度統(tǒng)計(jì)速度較高等優(yōu)勢(shì)，由此實(shí)現(xiàn)的周期性數(shù)據(jù)集挖掘、關(guān)聯(lián)規(guī)則挖掘便能夠大大降低電力調(diào)度自動(dòng)化系統(tǒng)的事故發(fā)生概率。值得注意的是，本文研究的周期性關(guān)聯(lián)規(guī)則挖掘算法結(jié)合了蟻群算法，這是由于原算法使用了超多的搜索操作、分類檢索和路徑檢索，蟻群算法下走過(guò)的路上會(huì)留下信息素，這就使得較短路徑上的信息素濃度較高，結(jié)合負(fù)信息素理論，即可保證有信息素的地方螞蟻不能走過(guò)。如使用表1所示的事務(wù)數(shù)據(jù)庫(kù)D（部分），即可結(jié)合時(shí)態(tài)事務(wù)數(shù)據(jù)庫(kù)D分類數(shù)據(jù)集改善、每一個(gè)分類數(shù)據(jù)集周期性數(shù)據(jù)集挖掘改善，以數(shù)據(jù)項(xiàng)A分類為例，即可求得表2所示的時(shí)態(tài)屬性差，由此開展更深入計(jì)算則能夠更深入了解周期性關(guān)聯(lián)規(guī)則挖掘算法的思想，也能夠認(rèn)識(shí)到蟻群算法的重要性。
2.2應(yīng)用實(shí)踐
為提升研究實(shí)踐價(jià)值，本文圍繞周期性關(guān)聯(lián)規(guī)則挖掘算法建立了基于周期性關(guān)聯(lián)規(guī)則挖掘的數(shù)據(jù)分析系統(tǒng)，這一系統(tǒng)的建立過(guò)程如下所示。
�。�1）開發(fā)平臺(tái)選取。結(jié)合系統(tǒng)功能需要，選取了微軟的平臺(tái)作為主要系統(tǒng)開發(fā)平臺(tái)，該平臺(tái)具備的強(qiáng)大數(shù)據(jù)庫(kù)訪問(wèn)潛力、擴(kuò)展豐富等特點(diǎn)，能夠較好滿足系統(tǒng)開發(fā)需要。
（2）基于數(shù)據(jù)橋的數(shù)據(jù)集成模塊設(shè)計(jì)。思考到我國(guó)當(dāng)下電力事業(yè)的數(shù)據(jù)集成標(biāo)準(zhǔn)較為復(fù)雜、混亂，系統(tǒng)設(shè)計(jì)采用了自己的數(shù)據(jù)集成方法，同時(shí)應(yīng)用了清晰數(shù)據(jù)清洗策略，由此即可實(shí)現(xiàn)不完整數(shù)據(jù)、重復(fù)數(shù)據(jù)、錯(cuò)誤數(shù)據(jù)三類臟數(shù)據(jù)的清洗，數(shù)字?jǐn)?shù)據(jù)不完整、日期數(shù)據(jù)不完整、錯(cuò)誤日期型數(shù)據(jù)、重復(fù)數(shù)據(jù)等僅屬于清洗資料，其中除重復(fù)數(shù)據(jù)不予處理外，其他數(shù)據(jù)均采用修補(bǔ)空值和默認(rèn)值的方式，如數(shù)字?jǐn)?shù)據(jù)不完整采用“補(bǔ)0，補(bǔ)null，默認(rèn)值”的清洗策略。此外，無(wú)類型文件數(shù)據(jù)集成、數(shù)據(jù)庫(kù)數(shù)據(jù)集成、異構(gòu)數(shù)據(jù)庫(kù)數(shù)據(jù)集成也是這一環(huán)節(jié)設(shè)計(jì)的重要資料[3]。
（3）數(shù)據(jù)庫(kù)管理模塊設(shè)計(jì)。采用微軟公司的SQLServer數(shù)據(jù)庫(kù)系統(tǒng)，由此數(shù)據(jù)庫(kù)管理被分為層次數(shù)建模、數(shù)據(jù)表管理、數(shù)據(jù)表導(dǎo)出三部分，其中數(shù)據(jù)表管理包含數(shù)據(jù)管理、結(jié)構(gòu)管理、刪除三方面功能，而數(shù)據(jù)表導(dǎo)出則包括文本文件、Excel文件、Access文件、Xml文件、其他數(shù)據(jù)庫(kù)五部分資料。
（4）數(shù)據(jù)分析功能模塊設(shè)計(jì)。數(shù)據(jù)分析功能模塊由同期數(shù)據(jù)分析、周期性數(shù)據(jù)分析、數(shù)據(jù)預(yù)警分析、數(shù)據(jù)關(guān)聯(lián)分析四部分組成，各部分設(shè)計(jì)如下所示：a.同期數(shù)據(jù)分析模塊設(shè)計(jì)。該模塊的運(yùn)行流程主要由負(fù)荷數(shù)據(jù)、網(wǎng)損數(shù)據(jù)、力率數(shù)據(jù)、有功總加數(shù)據(jù)比較組成，分析流程能夠概括為：“輸入所有比較條件→合法→根據(jù)條件生成SQL語(yǔ)句→顯示查詢結(jié)果→打印比較圖像”。b.周期性數(shù)據(jù)分析模塊設(shè)計(jì)。圍繞報(bào)警周期性、負(fù)荷周期性、遙測(cè)周期性三方面開展數(shù)據(jù)挖掘，即可完成該模塊設(shè)計(jì)。c.數(shù)據(jù)預(yù)警分析模塊設(shè)計(jì)。分析流程為：“初始化數(shù)據(jù)集及參數(shù)→輸入預(yù)警分析參數(shù)→合法→分析預(yù)測(cè)→決定預(yù)測(cè)類型→有無(wú)推薦→輸出報(bào)警類型和推薦→輸出報(bào)警類型”。d.數(shù)據(jù)關(guān)聯(lián)分析模型設(shè)計(jì)。采用默認(rèn)用戶手動(dòng)輸入數(shù)據(jù)集方法，程序流程為：“初始化已有周期性數(shù)據(jù)集→輸入?yún)?shù)→合法？→數(shù)據(jù)集交叉？→計(jì)算Conf、Sup→計(jì)算下一對(duì)數(shù)據(jù)集→完成”。
3結(jié)束語(yǔ)
數(shù)據(jù)挖掘能夠較好地服務(wù)于電力調(diào)度自動(dòng)化系統(tǒng)。而在此基礎(chǔ)上，本文研究建立的基于周期性關(guān)聯(lián)規(guī)則挖掘的數(shù)據(jù)分析系統(tǒng)，則證明了研究的實(shí)踐價(jià)值。因此，在相關(guān)領(lǐng)域的理論研究和實(shí)踐探索中，本文資料能夠發(fā)揮必須參考作用。
參考文獻(xiàn)：
[1]王謙，李烽.電力調(diào)度的自動(dòng)化網(wǎng)絡(luò)安全分析及實(shí)現(xiàn)[J].電子技術(shù)與軟件工程，2017（21）：116.
[2]劉賓，朱亞奇，吳莎.數(shù)據(jù)挖掘在電力調(diào)度自動(dòng)化系統(tǒng)中的應(yīng)用[J].電子技術(shù)與軟件工程，2017（20）：158.
[3]曹鐵生.電力調(diào)度自動(dòng)化系統(tǒng)應(yīng)用現(xiàn)狀與發(fā)展趨勢(shì)研究分析[J].硅谷，2014，7（23）：74+76.
[4]周洋.數(shù)據(jù)挖掘在電力調(diào)度自動(dòng)化系統(tǒng)中的應(yīng)用解析[J].科技創(chuàng)新與應(yīng)用，2017（35）：149-150.
[5]李夢(mèng)鳴.大數(shù)據(jù)挖掘平臺(tái)在電力運(yùn)營(yíng)監(jiān)測(cè)工作的應(yīng)用[J].科技創(chuàng)新與應(yīng)用，2016（26）：21-22.
作者：何宇雄；苑晉沛；聶宇；羅超；高小芊；寇霄宇；李蔚單位：國(guó)網(wǎng)湖北省電力公司武漢供電公司
數(shù)據(jù)挖掘論文（三）：
題目：機(jī)器學(xué)習(xí)算法在數(shù)據(jù)挖掘中的應(yīng)用
摘要：隨著科學(xué)技術(shù)的快速發(fā)展，各種新鮮的事物和理念得到了廣泛的應(yīng)用。其中機(jī)器學(xué)習(xí)算法就是一則典型案例——作為一種新型的算法，其廣泛應(yīng)用于各行各業(yè)之中。本篇論文旨在探討機(jī)器學(xué)習(xí)算法在數(shù)據(jù)挖掘中的具體應(yīng)用，我們利用龐大的移動(dòng)終端數(shù)據(jù)網(wǎng)絡(luò)，加強(qiáng)了基于GSM網(wǎng)絡(luò)的戶外終端定位，從而提出了3個(gè)階段的定位算法，有效提高了定位的精準(zhǔn)度和速度。
關(guān)鍵詞：學(xué)習(xí)算法;GSM網(wǎng)絡(luò);定位;數(shù)據(jù);
移動(dòng)終端定位技術(shù)由來(lái)已久，其主要是利用各種科學(xué)技術(shù)手段定位移動(dòng)物體的精準(zhǔn)位置以及高度。目前，移動(dòng)終端定位技術(shù)主要應(yīng)用于軍事定位、緊急救援、網(wǎng)絡(luò)優(yōu)化、地圖導(dǎo)航等多個(gè)現(xiàn)代化的領(lǐng)域，由于移動(dòng)終端定位技術(shù)能夠帶給精準(zhǔn)的位置服務(wù)信息，所以其在市場(chǎng)上還是有較大的需求的，這也為移動(dòng)終端定位技術(shù)的優(yōu)化和發(fā)展，帶給了推動(dòng)力。隨著通信網(wǎng)絡(luò)普及，移動(dòng)終端定位技術(shù)的發(fā)展也得到了一些幫忙，使得其定位的精準(zhǔn)度和速度都得到了全面的優(yōu)化和提升。同時(shí)，傳統(tǒng)的定位方法結(jié)合先進(jìn)的算法來(lái)進(jìn)行精準(zhǔn)定位，目前依舊還是有較大的進(jìn)步空間。在工作中我選取機(jī)器學(xué)習(xí)算法結(jié)合數(shù)據(jù)挖掘技術(shù)對(duì)傳統(tǒng)定位技術(shù)加以改善，取得了不錯(cuò)的效果，但也遇到了許多問(wèn)題，例如:使用機(jī)器學(xué)習(xí)算法來(lái)進(jìn)行精準(zhǔn)定位暫時(shí)無(wú)法滿足更大的區(qū)域要求，還有想要利用較低的設(shè)備成本，實(shí)現(xiàn)得到更多的精準(zhǔn)定位的要求比較困難。所以本文對(duì)機(jī)器學(xué)習(xí)算法進(jìn)行了深入的研究，期望能夠幫忙其更快速的定位、更精準(zhǔn)的定位，滿足市場(chǎng)的需要。
1數(shù)據(jù)挖掘概述
數(shù)據(jù)挖掘又名數(shù)據(jù)探勘、信息挖掘。它是數(shù)據(jù)庫(kù)知識(shí)篩選中十分重要的一步。數(shù)據(jù)挖掘其實(shí)指的就是在超多的數(shù)據(jù)中透過(guò)算法找到有用信息的行為。一般狀況下，數(shù)據(jù)挖掘都會(huì)和計(jì)算機(jī)科學(xué)緊密聯(lián)系在一齊，透過(guò)統(tǒng)計(jì)集合、在線剖析、檢索篩選、機(jī)器學(xué)習(xí)、參數(shù)識(shí)別等多種方法來(lái)實(shí)現(xiàn)最初的目標(biāo)。統(tǒng)計(jì)算法和機(jī)器學(xué)習(xí)算法是數(shù)據(jù)挖掘算法里面應(yīng)用得比較廣泛的兩類。統(tǒng)計(jì)算法依靠于概率分析，然后進(jìn)行相關(guān)性決定，由此來(lái)執(zhí)行運(yùn)算。
而機(jī)器學(xué)習(xí)算法主要依靠人工智能科技，透過(guò)超多的樣本收集、學(xué)習(xí)和訓(xùn)練，能夠自動(dòng)匹配運(yùn)算所需的相關(guān)參數(shù)及模式。它綜合了數(shù)學(xué)、物理學(xué)、自動(dòng)化和計(jì)算機(jī)科學(xué)等多種學(xué)習(xí)理論，雖然能夠應(yīng)用的領(lǐng)域和目標(biāo)各不相同，但是這些算法都能夠被獨(dú)立使用運(yùn)算，當(dāng)然也能夠相互幫忙，綜合應(yīng)用，能夠說(shuō)是一種能夠“因時(shí)而變”、“因事而變”的算法。在機(jī)器學(xué)習(xí)算法的領(lǐng)域，人工神經(jīng)網(wǎng)絡(luò)是比較重要和常見的一種。因?yàn)樗膬?yōu)秀的數(shù)據(jù)處理和演練、學(xué)習(xí)的潛力較強(qiáng)。
而且對(duì)于問(wèn)題數(shù)據(jù)還能夠進(jìn)行精準(zhǔn)的識(shí)別與處理分析，所以應(yīng)用的頻次更多。人工神經(jīng)網(wǎng)絡(luò)依靠于多種多樣的建模模型來(lái)進(jìn)行工作，由此來(lái)滿足不同的數(shù)據(jù)需求。綜合來(lái)看，人工神經(jīng)網(wǎng)絡(luò)的建模，它的精準(zhǔn)度比較高，綜合表述潛力優(yōu)秀，而且在應(yīng)用的過(guò)程中，不需要依靠專家的輔助力量，雖然仍有缺陷，比如在訓(xùn)練數(shù)據(jù)的時(shí)候耗時(shí)較多，知識(shí)的理解潛力還沒(méi)有到達(dá)智能化的標(biāo)準(zhǔn)，但是，相對(duì)于其他方式而言，人工神經(jīng)網(wǎng)絡(luò)的優(yōu)勢(shì)依舊是比較突出的。
2以機(jī)器學(xué)習(xí)算法為基礎(chǔ)的GSM網(wǎng)絡(luò)定位
2.1定位問(wèn)題的建模
建模的過(guò)程主要是以支持向量機(jī)定位方式作為基礎(chǔ)，把定位的位置柵格化，面積較小的柵格位置就是獨(dú)立的一種類別，在定位的位置內(nèi)，我們收集數(shù)目龐大的終端測(cè)量數(shù)據(jù)，然后利用計(jì)算機(jī)對(duì)測(cè)量報(bào)告進(jìn)行分析處理，測(cè)量柵格的距離度量和精準(zhǔn)度，然后對(duì)移動(dòng)終端柵格進(jìn)行預(yù)估決定，最終利用機(jī)器學(xué)習(xí)進(jìn)行分析求解。
2.2采集數(shù)據(jù)和預(yù)處理
本次研究，我們采用的模型對(duì)象是我國(guó)某一個(gè)周邊長(zhǎng)達(dá)10千米的二線城市。在該城市區(qū)域內(nèi)，我們測(cè)量了四個(gè)不同時(shí)間段內(nèi)的數(shù)據(jù)，為了保證機(jī)器學(xué)習(xí)算法定位的精準(zhǔn)性和有效性，我們把其中的三批數(shù)據(jù)作為訓(xùn)練數(shù)據(jù)，最后一組數(shù)據(jù)作為定位數(shù)據(jù)，然后把定位數(shù)據(jù)周邊十米內(nèi)的前三組訓(xùn)練數(shù)據(jù)的相關(guān)信息進(jìn)行清除。一旦確定某一待定位數(shù)據(jù)，就要在不同的時(shí)間內(nèi)進(jìn)行測(cè)量，按照測(cè)量出的數(shù)據(jù)信息的經(jīng)緯度和平均值，再進(jìn)行換算，最終，得到真實(shí)的數(shù)據(jù)量，提升定位的速度以及有效程度。
2.3以基站的經(jīng)緯度為基礎(chǔ)的初步定位
用機(jī)器學(xué)習(xí)算法來(lái)進(jìn)行移動(dòng)終端定位，其復(fù)雜性也是比較大的，一旦區(qū)域面積增加，那么模型和分類也相應(yīng)增加，而且更加復(fù)雜，所以，利用機(jī)器學(xué)習(xí)算法來(lái)進(jìn)行移動(dòng)終端定位的過(guò)程，會(huì)隨著定位區(qū)域面積的增大，而耗費(fèi)更多的時(shí)間。利用基站的經(jīng)緯度作為基礎(chǔ)來(lái)進(jìn)行早期的定位，則需要以下幾個(gè)步驟:要將邊長(zhǎng)為十千米的正方形分割成一千米的小柵格，如果想要定位數(shù)據(jù)集內(nèi)的相關(guān)信息，就要選取對(duì)邊長(zhǎng)是一千米的小柵格進(jìn)行計(jì)算，而如果是想要獲得邊長(zhǎng)一千米的大柵格，就要對(duì)邊長(zhǎng)是一千米的柵格精心計(jì)算。
2.4以向量機(jī)為基礎(chǔ)的二次定位
在完成初步定位工作后，要確定一個(gè)邊長(zhǎng)為兩千米的正方形，由于第一級(jí)支持向量機(jī)定位的區(qū)域是四百米，定位輸出的是以一百米柵格作為中心點(diǎn)的經(jīng)緯度數(shù)據(jù)信息，相對(duì)于一級(jí)向量機(jī)的定位而言，二級(jí)向量機(jī)在定位計(jì)算的時(shí)候難度是較低的，更加簡(jiǎn)便。后期的預(yù)算主要依靠決策函數(shù)計(jì)算和樣本向量機(jī)計(jì)算。隨著柵格的變小，定位的精準(zhǔn)度將越來(lái)越高，而由于增加分類的問(wèn)題數(shù)量是上升的，所以，定位的復(fù)雜度也是相對(duì)增加的。
2.5以K-近鄰法為基礎(chǔ)的三次定位
第一步要做的就是選定需要定位的區(qū)域面積，在二次輸出之后，確定其經(jīng)緯度，然后依靠經(jīng)緯度來(lái)確定邊長(zhǎng)面積，這些都是進(jìn)行區(qū)域定位的基礎(chǔ)性工作，緊之后就是定位模型的訓(xùn)練。以K-近鄰法為基礎(chǔ)的三次定位需要的是綜合訓(xùn)練信息數(shù)據(jù)，對(duì)于這些信息數(shù)據(jù)，要以大小為選取依據(jù)進(jìn)行篩選和合并，這樣就能夠減少計(jì)算的重復(fù)性。當(dāng)然了，選取的區(qū)域面積越大，其定位的速度和精準(zhǔn)性也就越低。
3結(jié)語(yǔ)
近年來(lái)，隨著我國(guó)科學(xué)技術(shù)的不斷發(fā)展和進(jìn)步，數(shù)據(jù)挖掘技術(shù)愈加重要。根據(jù)上面的研究，我們證明了，在數(shù)據(jù)挖掘的過(guò)程中，應(yīng)用機(jī)器學(xué)習(xí)算法具有舉足輕重的作用。作為一門多領(lǐng)域互相交叉的知識(shí)學(xué)科，它能夠幫忙我們提升定位的精準(zhǔn)度以及定位速度，能夠被廣泛的應(yīng)用于各行各業(yè)。所以，對(duì)于機(jī)器學(xué)習(xí)算法，相關(guān)人員要加以重視，不斷的進(jìn)行改良以及改善，切實(shí)的發(fā)揮其有利的方面，將其廣泛應(yīng)用于智能定位的各個(gè)領(lǐng)域，幫忙我們解決關(guān)于戶外移動(dòng)終端的定位的問(wèn)題。
參考文獻(xiàn)
[1]陳小燕，CHENXiaoyan.機(jī)器學(xué)習(xí)算法在數(shù)據(jù)挖掘中的應(yīng)用[J].現(xiàn)代電子技術(shù)，2015，v.38;No.451(20):11-14.
[2]李運(yùn).機(jī)器學(xué)習(xí)算法在數(shù)據(jù)挖掘中的應(yīng)用[D].北京郵電大學(xué)，2014.
[3]莫雪峰.機(jī)器學(xué)習(xí)算法在數(shù)據(jù)挖掘中的應(yīng)用[J].科教文匯，2016(07):175-178.
數(shù)據(jù)挖掘論文（四）：
數(shù)據(jù)挖掘與圖書館用戶資源分析
摘要：人類利用圖書館產(chǎn)生信息活動(dòng)時(shí)所表現(xiàn)出的最基礎(chǔ)、最平常、最通用的一種關(guān)系，便是用戶資源和圖書館之間的關(guān)系。從這種關(guān)系出發(fā)，分析嫁接起這一簡(jiǎn)單聯(lián)系的規(guī)律，便是數(shù)據(jù)挖掘技術(shù)。本文認(rèn)為對(duì)圖書館用戶資源分析研究應(yīng)以數(shù)據(jù)挖掘技術(shù)為邏輯起點(diǎn)，從云計(jì)算、信息共享、數(shù)據(jù)排查、智能搜索、大數(shù)據(jù)存儲(chǔ)等對(duì)圖書館用戶資源進(jìn)行整合和建設(shè)。應(yīng)對(duì)信息資源日益豐富的這天，數(shù)據(jù)挖掘技術(shù)對(duì)管理圖書館信息資源技術(shù)帶給了巨大便利。
關(guān)鍵詞：數(shù)據(jù)挖掘；用戶資源
數(shù)據(jù)挖掘，即數(shù)據(jù)系統(tǒng)中的信息發(fā)現(xiàn)。隨著計(jì)算機(jī)技術(shù)，個(gè)性是云計(jì)算、大數(shù)據(jù)記憶技術(shù)的快速發(fā)展，傳統(tǒng)的手動(dòng)查找信息模式被大數(shù)據(jù)智能檢索替代。數(shù)據(jù)挖掘技術(shù)廣泛應(yīng)用于市場(chǎng)、工業(yè)、金融行業(yè)、科學(xué)界、互聯(lián)網(wǎng)行業(yè)以及醫(yī)療業(yè)。數(shù)據(jù)挖掘技術(shù)在圖書館的應(yīng)用，能夠?qū)⒑Ａ康挠脩糍Y源進(jìn)行聚類、關(guān)聯(lián)、整合，能夠?qū)τ脩羲阉饔涗�、圖書流通記錄、用戶借閱信息等數(shù)據(jù)進(jìn)行精確預(yù)判，發(fā)現(xiàn)一些隱蔽的聯(lián)系，為圖書館采購(gòu)圖書、淘汰文獻(xiàn)資料帶給科學(xué)推薦，也能夠?yàn)橛脩魩Ыo個(gè)性化訂閱服務(wù)，創(chuàng)新用戶服務(wù)模式，為圖書館建設(shè)整個(gè)信息網(wǎng)絡(luò)帶給有力支撐。
1大數(shù)據(jù)下的圖書館用戶資源特征
圖書館用戶資源是透過(guò)數(shù)字技術(shù)進(jìn)行組織和管理的：（1）經(jīng)過(guò)數(shù)據(jù)關(guān)聯(lián)分析，把數(shù)據(jù)庫(kù)中存在的兩個(gè)或兩個(gè)以上用戶之間的相同性提取出來(lái)，提高支持度和說(shuō)服力；（2）把用戶信息按照相似性歸納成幾個(gè)類別，建立宏觀概念，發(fā)現(xiàn)其間的相互關(guān)系；其次定義這些相互關(guān)系，概念產(chǎn)生以后，即等同于這些相互關(guān)系的整體信息，用于建構(gòu)分類規(guī)則或者數(shù)據(jù)模型；其次利用以上數(shù)據(jù)找出變化規(guī)律，對(duì)此規(guī)律進(jìn)行模型化處理，并由數(shù)據(jù)模型對(duì)未知信息進(jìn)行預(yù)判；（3）把用戶資源進(jìn)行時(shí)序排序，檢索出高重復(fù)率的模型；（4）進(jìn)行偏差比對(duì)，檢查數(shù)據(jù)之中的異常狀況。圖書館利用超多的用戶訪問(wèn)信息獲取用戶興趣，發(fā)現(xiàn)用戶群體，為不同的群體定制信息，還能夠建立一個(gè)共享信息平臺(tái)，讓不同用戶建立網(wǎng)絡(luò)交流。
1.1數(shù)據(jù)量大并且分布更廣
大數(shù)據(jù)形勢(shì)下，圖書館能夠獲取的用戶資源不僅僅限于用戶個(gè)人信息和搜索記錄，也包括檔案、學(xué)術(shù)研究、教學(xué)模式、用戶評(píng)價(jià)和反饋等，數(shù)據(jù)豐富。同時(shí)，數(shù)據(jù)分布廣泛，在互聯(lián)網(wǎng)時(shí)代，可從圖書館應(yīng)用系統(tǒng)、數(shù)據(jù)系統(tǒng)記錄以及各種網(wǎng)頁(yè)、移動(dòng)終端的信息獲取，顯示出用戶資源的分散性。
1.2數(shù)據(jù)資料多元化，形式靈活化
數(shù)據(jù)系統(tǒng)里的存儲(chǔ)方式不同，服務(wù)器不同，系統(tǒng)開發(fā)平臺(tái)不同，致使許多用戶資源無(wú)法交流互換。圖書館用戶資源有半模型化、模型化和非模型化之分。傳統(tǒng)的圖書館用戶資源中，用戶只是圖書資源的使用者，與圖書館之間只是點(diǎn)對(duì)點(diǎn)單線互動(dòng)，用戶之間不存在交流，而在大數(shù)據(jù)網(wǎng)絡(luò)平臺(tái)下，用戶之間能夠建立資料共享互動(dòng)平臺(tái)，使得用戶資源的資料更加多元化。
2圖書館用戶資源利用
2.1有助于利用數(shù)據(jù)挖掘技術(shù)建立用戶資源圖書館
用戶資源圖書館具備信息量大的特點(diǎn)，用戶可獲得各方各面的信息，且從服務(wù)的個(gè)性化和全方位化而言，圖書館可根據(jù)社會(huì)熱點(diǎn)或用戶需求定制服務(wù)。一方面，建立用戶資源圖書館，使各類用戶信息在同一界面統(tǒng)一呈現(xiàn)，方便用戶的選取和檢索。另一方面，利用數(shù)據(jù)挖掘技術(shù)建立的用戶資源圖書館，服務(wù)器眾多，具有較強(qiáng)的計(jì)算潛力和存儲(chǔ)潛力，擁有較高的數(shù)據(jù)處理潛力，能同時(shí)容納多數(shù)用戶。因數(shù)據(jù)量大所導(dǎo)致的硬件費(fèi)用和后期運(yùn)行費(fèi)用劇增，可透過(guò)構(gòu)建用戶資源圖書館平臺(tái)以及應(yīng)用服務(wù)得到解決。為應(yīng)付不斷提高的用戶資源存儲(chǔ)方面的壓為，目前亟需的就是投入超多資金以擴(kuò)容存儲(chǔ)設(shè)備，無(wú)疑，建立用戶資源平臺(tái)能夠解決此問(wèn)題。
2.2加速圖書館資源的數(shù)字化
強(qiáng)大的互聯(lián)網(wǎng)呈現(xiàn)功能和用戶信息保存的可靠性功能，用戶資源存儲(chǔ)的復(fù)雜性問(wèn)題可得到很好的解決。其次，數(shù)據(jù)挖掘技術(shù)對(duì)于資源整合方面具有優(yōu)勢(shì)，透過(guò)分布式的存儲(chǔ)模式整合超多信息資源帶給給用戶檢索。不同的數(shù)據(jù)之間的互相操作以及全方位的互聯(lián)網(wǎng)服務(wù)得以實(shí)現(xiàn)，很好的解決了資源重復(fù)建設(shè)的問(wèn)題。因此，利用數(shù)據(jù)挖掘使得圖書館資源數(shù)字化具備可行性。從這個(gè)好處上來(lái)看，資源的館藏?cái)?shù)字化將會(huì)加快發(fā)展，而不只是圖書書目的劇增。
2.3降低人力資源成本，使圖書館各類資源得以整合和優(yōu)化
隨著各類用戶資源利用步伐的加快，加之依靠因特網(wǎng)的用戶對(duì)服務(wù)的可行性和效率性要求更高，超多不同體系的服務(wù)器布置在機(jī)房，系統(tǒng)維護(hù)人員的壓力也相應(yīng)増大。透過(guò)數(shù)據(jù)挖掘技術(shù)，可有效進(jìn)行資源整合和優(yōu)化，無(wú)需透過(guò)人力進(jìn)行。
2.4有利于分析用戶心理和提升用戶體驗(yàn)
數(shù)據(jù)挖掘技術(shù)能夠利用用戶資源計(jì)算出用戶模型，這是研究用戶需求、偏好、行為的一種常規(guī)方式，一般認(rèn)為用戶模型是對(duì)用戶在某段時(shí)間內(nèi)相對(duì)穩(wěn)定的信息需求的記錄。用戶模型反過(guò)來(lái)對(duì)獲取用戶資源有十分重要的作用，建構(gòu)用戶模型，能夠使圖書館更加精深、準(zhǔn)確地掌握當(dāng)前用戶資源。透過(guò)對(duì)用戶資源的處理來(lái)預(yù)測(cè)用戶需求，進(jìn)而到達(dá)持續(xù)提高服務(wù)質(zhì)量和用戶滿意度的目的。一方面，預(yù)判用戶心理是利用圖書館用戶資源更加深入的表現(xiàn)。隨著用戶環(huán)境與圖書館環(huán)境的不斷變化，這種預(yù)判力覆蓋范圍已經(jīng)不單單是用戶信息行為的某個(gè)過(guò)程或某幾個(gè)過(guò)程，相反，用戶心理能夠?qū)τ脩粜枨蟮膹?qiáng)弱、層次、方向產(chǎn)生極為重要的影響，同時(shí)也能夠?qū)Λ@取用戶資源全部過(guò)程產(chǎn)生重要影響。另一方面，最先研究用戶體驗(yàn)研究當(dāng)屬企業(yè)營(yíng)銷活動(dòng)，主要用來(lái)研究用戶與企業(yè)、產(chǎn)品或服務(wù)之間的互動(dòng)。數(shù)據(jù)挖掘技術(shù)能夠更精準(zhǔn)預(yù)測(cè)用戶的實(shí)際感受，透過(guò)研究用戶情感體驗(yàn)與用戶行為動(dòng)作，提高用戶的滿意度，滿足用戶需求。
3結(jié)語(yǔ)
在數(shù)據(jù)大爆發(fā)時(shí)代，重視圖書館用戶資源，透過(guò)多渠道、多方式匯聚用戶資源，采用數(shù)據(jù)挖掘、數(shù)據(jù)歸檔分析等技術(shù)，掌握用戶資源特征，有助于圖書館精準(zhǔn)定位用戶群體，對(duì)調(diào)整圖書館運(yùn)營(yíng)策略有重要前置作用，更能創(chuàng)新圖書館服務(wù)的資料和形式，實(shí)現(xiàn)圖書館資源的有效利用。
參考文獻(xiàn)
[1]陳文偉等.數(shù)據(jù)挖掘技術(shù)[M].北京:北京工業(yè)出版社，2002.
[2]郭崇慧等.北京數(shù)據(jù)挖掘教程[M].北京:清華大學(xué)出版社，2005.
[3]徐永麗等.網(wǎng)絡(luò)環(huán)境中用戶信息需求障礙分析[J].圖書館理論與實(shí)踐，2004.
數(shù)據(jù)挖掘論文（五）：
題目：大數(shù)據(jù)挖掘在智慧旅游應(yīng)用中的探究
摘要：大數(shù)據(jù)和智慧旅游都是當(dāng)下的熱點(diǎn)，沒(méi)有大數(shù)據(jù)的智慧旅游無(wú)從談“智慧”，數(shù)據(jù)挖掘是大數(shù)據(jù)應(yīng)用于智慧旅游的核心，文章探究了在智慧旅游應(yīng)用中，目前大數(shù)據(jù)挖掘存在的幾個(gè)問(wèn)題。
關(guān)鍵詞：大數(shù)據(jù);智慧旅游;數(shù)據(jù)挖掘;
1引言
隨著人民生活水平的進(jìn)一步提高，旅游消費(fèi)的需求進(jìn)一步上升，在云計(jì)算、互聯(lián)網(wǎng)、物聯(lián)網(wǎng)以及移動(dòng)智能終端等信息通訊技術(shù)的飛速發(fā)展下，智慧旅游應(yīng)運(yùn)而生。大數(shù)據(jù)作為當(dāng)下的熱點(diǎn)已經(jīng)成了智慧旅游發(fā)展的有力支撐，沒(méi)有大數(shù)據(jù)帶給的有利信息，智慧旅游無(wú)法變得“智慧”。
2大數(shù)據(jù)與智慧旅游
旅游業(yè)是信息密、綜合性強(qiáng)、信息依存度高的產(chǎn)業(yè)[1]，這讓其與大數(shù)據(jù)自然產(chǎn)生了交匯。2010年，江蘇省鎮(zhèn)江市首先提出“智慧旅游”的概念，雖然至今國(guó)內(nèi)外對(duì)于智慧旅游還沒(méi)有一個(gè)統(tǒng)一的學(xué)術(shù)定義，但在與大數(shù)據(jù)相關(guān)的描述中，有學(xué)者從大數(shù)據(jù)挖掘在智慧旅游中的作用出發(fā)，把智慧旅游描述為:透過(guò)充分收集和管理所有類型和來(lái)源的旅游數(shù)據(jù)，并深入挖掘這些數(shù)據(jù)的潛在重要價(jià)值信息，然后利用這些信息為相關(guān)部門或?qū)ο髱Ыo服務(wù)[2]。這必須義充分肯定了在發(fā)展智慧旅游中，大數(shù)據(jù)挖掘所起的至關(guān)重要的作用，指出了在智慧旅游的過(guò)程中，數(shù)據(jù)的收集、儲(chǔ)存、管理都是為數(shù)據(jù)挖掘服務(wù)，智慧旅游最終所需要的是利用挖掘所得的有用信息。
3大數(shù)據(jù)挖掘在智慧旅游中存在的問(wèn)題
2011年，我國(guó)提出用十年時(shí)間基本實(shí)現(xiàn)智慧旅游的目標(biāo)[3]，過(guò)去幾年，國(guó)家旅游局的相關(guān)動(dòng)作均為了實(shí)現(xiàn)這一目標(biāo)。但是，在借助大數(shù)據(jù)推動(dòng)智慧旅游的可持續(xù)性發(fā)展中，大數(shù)據(jù)所產(chǎn)生的價(jià)值卻亟待提高，原因之一就是在收集、儲(chǔ)存了超多數(shù)據(jù)后，對(duì)它們深入挖掘不夠，沒(méi)有發(fā)掘出數(shù)據(jù)更多的價(jià)值。
3.1信息化建設(shè)
智慧旅游的發(fā)展離不開移動(dòng)網(wǎng)絡(luò)、物聯(lián)網(wǎng)、云平臺(tái)。隨著大數(shù)據(jù)的不斷發(fā)展，國(guó)內(nèi)許多景區(qū)已經(jīng)實(shí)現(xiàn)Wi-Fi覆蓋，部分景區(qū)也已實(shí)現(xiàn)人與人、人與物、人與景點(diǎn)之間的實(shí)時(shí)互動(dòng)，多省市已建有旅游產(chǎn)業(yè)監(jiān)測(cè)平臺(tái)或旅游大數(shù)據(jù)中心以及數(shù)據(jù)可視化平臺(tái)，從中進(jìn)行數(shù)據(jù)統(tǒng)計(jì)、行為分析、監(jiān)控預(yù)警、服務(wù)質(zhì)量監(jiān)督等。透過(guò)這些平臺(tái)，已基本能掌握跟游客和景點(diǎn)相關(guān)的數(shù)據(jù)，能夠?qū)崿F(xiàn)更好旅游監(jiān)控、產(chǎn)業(yè)宏觀監(jiān)控，對(duì)該地的旅游管理和推廣都能發(fā)揮重要作用。
但從智慧化的發(fā)展來(lái)看，我國(guó)的信息化建設(shè)還需加強(qiáng)。雖然通訊網(wǎng)絡(luò)已基本能保證，但是大部分景區(qū)還無(wú)法實(shí)現(xiàn)對(duì)景區(qū)全面、透徹、及時(shí)的感知，更為困難的是對(duì)平臺(tái)的建設(shè)。在數(shù)據(jù)共享平臺(tái)的建設(shè)上，除了必備的硬件設(shè)施，大數(shù)據(jù)實(shí)驗(yàn)平臺(tái)還涉及超多部門，如政府管理部門、氣象部門、交通、電子商務(wù)、旅行社、旅游網(wǎng)站等。如此多的部門相關(guān)聯(lián)，要想建立一個(gè)完整全面的大數(shù)據(jù)實(shí)驗(yàn)平臺(tái)，難度可想而知。
3.2大數(shù)據(jù)挖掘方法
大數(shù)據(jù)時(shí)代缺的不是數(shù)據(jù)，而是方法。大數(shù)據(jù)在旅游行業(yè)的應(yīng)用前景十分廣闊，但是應(yīng)對(duì)超多的數(shù)據(jù)，不懂如何收集有用的數(shù)據(jù)、不懂如何對(duì)數(shù)據(jù)進(jìn)行挖掘和利用，那么“大數(shù)據(jù)”猶如礦山之中的廢石。旅游行業(yè)所涉及的結(jié)構(gòu)化與非結(jié)構(gòu)化數(shù)據(jù)，透過(guò)云計(jì)算技術(shù)，對(duì)數(shù)據(jù)的收集、存儲(chǔ)都較為容易，但對(duì)數(shù)據(jù)的挖掘分析則還在不斷探索中。大數(shù)據(jù)的挖掘常用的方法有關(guān)聯(lián)分析，相似度分析，距離分析，聚類分析等等，這些方法從不同的角度對(duì)數(shù)據(jù)進(jìn)行挖掘。其中，相關(guān)性分析方法透過(guò)關(guān)聯(lián)多個(gè)數(shù)據(jù)來(lái)源，挖掘數(shù)據(jù)價(jià)值。但針對(duì)旅游數(shù)據(jù)，采用這些方法挖掘數(shù)據(jù)的價(jià)值信息，難度也很大，因?yàn)槁糜螖?shù)據(jù)中冗余數(shù)據(jù)很多，數(shù)據(jù)存在形式很復(fù)雜。在旅游非結(jié)構(gòu)化數(shù)據(jù)中，一張圖片、一個(gè)天氣變化、一次輿情評(píng)價(jià)等都將會(huì)對(duì)游客的旅行計(jì)劃帶來(lái)影響。對(duì)這些數(shù)據(jù)完全挖掘分析，對(duì)游客“行前、行中、行后”大數(shù)據(jù)的實(shí)時(shí)性挖掘都是很大的挑戰(zhàn)。
3.3數(shù)據(jù)安全
2017年，數(shù)據(jù)安全事件屢見不鮮，伴著大數(shù)據(jù)而來(lái)的數(shù)據(jù)安全問(wèn)題日益凸顯出來(lái)。在大數(shù)據(jù)時(shí)代，無(wú)處不在的數(shù)據(jù)收集技術(shù)使我們的個(gè)人信息在所關(guān)聯(lián)的數(shù)據(jù)中心留下痕跡，如何保證這些信息被合法合理使用，讓數(shù)據(jù)“可用不可見”[4]，這是亟待解決的問(wèn)題。同時(shí)，在大數(shù)據(jù)資源的開放性和共享性下，個(gè)人保密和公民權(quán)益受到嚴(yán)重威脅。這一矛盾的存在使數(shù)據(jù)共享程度與數(shù)據(jù)挖掘程度成反比。此外，經(jīng)過(guò)大數(shù)據(jù)技術(shù)的分析、挖掘，個(gè)人保密更易被發(fā)現(xiàn)和暴露，從而可能引發(fā)一系列社會(huì)問(wèn)題。
大數(shù)據(jù)背景下的旅游數(shù)據(jù)當(dāng)然也避免不了數(shù)據(jù)的安全問(wèn)題。如果游客“吃、住、行、游、娛、購(gòu)”的數(shù)據(jù)被放入數(shù)據(jù)庫(kù)，被完全共享、挖掘、分析，那游客的人身財(cái)產(chǎn)安全將會(huì)受到嚴(yán)重影響，最終降低旅游體驗(yàn)。所以，數(shù)據(jù)的安全管理是進(jìn)行大數(shù)據(jù)挖掘的前提。
3.4大數(shù)據(jù)人才
大數(shù)據(jù)背景下的智慧旅游離不開人才的創(chuàng)新活動(dòng)及技術(shù)支持，然而與專業(yè)相銜接的大數(shù)據(jù)人才培養(yǎng)未能及時(shí)跟上行業(yè)需求，加之創(chuàng)新型人才的外流，以及數(shù)據(jù)統(tǒng)計(jì)未來(lái)3~5年大數(shù)據(jù)行業(yè)將面臨全球性的人才荒，國(guó)內(nèi)智慧旅游的構(gòu)建還缺乏超多人才。
4解決思路
在信息化建設(shè)上，加大政府投入，加強(qiáng)基礎(chǔ)設(shè)施建設(shè)，整合結(jié)構(gòu)化數(shù)據(jù)，抓取非結(jié)構(gòu)化數(shù)據(jù)，打通各數(shù)據(jù)壁壘，建設(shè)旅游大數(shù)據(jù)實(shí)驗(yàn)平臺(tái);在挖掘方法上，對(duì)旅游大數(shù)據(jù)實(shí)時(shí)性數(shù)據(jù)的挖掘就應(yīng)被放在重要位置;在數(shù)據(jù)安全上，從加強(qiáng)大數(shù)據(jù)安全立法、監(jiān)管執(zhí)法及強(qiáng)化技術(shù)手段建設(shè)等幾個(gè)方面著手，提升大數(shù)據(jù)環(huán)境下數(shù)據(jù)安全保護(hù)水平。加強(qiáng)人才的培養(yǎng)與引進(jìn)，加強(qiáng)產(chǎn)學(xué)研合作，培養(yǎng)智慧旅游大數(shù)據(jù)人才。
參考文獻(xiàn)
[1]翁凱.大數(shù)據(jù)在智慧旅游中的應(yīng)用研究[J].信息技術(shù)，2015，24:86-87.
[2]梁昌勇，馬銀超，路彩虹.大數(shù)據(jù)挖掘，智慧旅游的核心[J].開發(fā)研究，2015，5(180):134-139.
[3]張建濤，王洋，劉力剛.大數(shù)據(jù)背景下智慧旅游應(yīng)用模型體系構(gòu)建[J].企業(yè)經(jīng)濟(jì)，2017，5(441):116-123.
[4]王竹欣，陳湉.保障大數(shù)據(jù)，從哪里入手[N].人民郵電究，2017-11-30.
數(shù)據(jù)挖掘論文（六）：
云計(jì)算下物聯(lián)網(wǎng)的數(shù)據(jù)挖掘
摘要：隨著我國(guó)信息技術(shù)產(chǎn)業(yè)日漸成熟，物聯(lián)網(wǎng)這一新一代信息技術(shù)關(guān)鍵技術(shù)日漸受到學(xué)界重視，基于此，本文就物聯(lián)網(wǎng)與云計(jì)算、物聯(lián)網(wǎng)數(shù)據(jù)挖掘需要解決的關(guān)鍵性問(wèn)題展開分析，并對(duì)基于云計(jì)算的物聯(lián)網(wǎng)數(shù)據(jù)挖掘、實(shí)驗(yàn)驗(yàn)證進(jìn)行了詳細(xì)論述，期望由此能夠?yàn)橄嚓P(guān)業(yè)內(nèi)人士帶來(lái)必須啟發(fā)。
關(guān)鍵詞：云計(jì)算平臺(tái)；物聯(lián)網(wǎng)；數(shù)據(jù)挖掘；Hodoop
隨著2010年提出的“數(shù)字地球”概念影響力不斷擴(kuò)大，物聯(lián)網(wǎng)技術(shù)與我國(guó)民眾生活之間的距離日漸拉近，越來(lái)越多的物聯(lián)網(wǎng)應(yīng)用也開始進(jìn)入人們視野，各界對(duì)物聯(lián)網(wǎng)的要求也在不斷提升，而為了解決物聯(lián)網(wǎng)領(lǐng)域正面臨的數(shù)據(jù)挖掘難題，正是本文就云計(jì)算平臺(tái)下物聯(lián)網(wǎng)數(shù)據(jù)挖掘展開具體研究的原因所在。
1物聯(lián)網(wǎng)與云計(jì)算
1.1物聯(lián)網(wǎng)
物聯(lián)網(wǎng)作為學(xué)界公認(rèn)的下一代網(wǎng)絡(luò)發(fā)展方向之一，其本身由無(wú)所不在的小型傳感器設(shè)備組成，無(wú)論是與我們?nèi)粘Ｉ?lián)系緊密的計(jì)算機(jī)與智能手機(jī)，還是大型網(wǎng)絡(luò)的服務(wù)器、超級(jí)計(jì)算機(jī)群，均屬于物聯(lián)網(wǎng)的重要組成部分，這也是很多學(xué)者將物聯(lián)網(wǎng)稱作新科技革命的原因。在S.Haller等業(yè)界權(quán)威學(xué)者的展望中，其認(rèn)為物聯(lián)網(wǎng)技術(shù)在未來(lái)將實(shí)現(xiàn)物理對(duì)象無(wú)縫集成到信息網(wǎng)絡(luò)之中并成為參與者，而這些“智能對(duì)象”在保護(hù)安全與保密的前提下，則能夠在網(wǎng)絡(luò)中找到任何問(wèn)題的解決方法。對(duì)于物聯(lián)網(wǎng)來(lái)說(shuō)，其具備著全面感知、可靠傳遞、智能處理三方面特點(diǎn)，而結(jié)合現(xiàn)有技術(shù)獲得基本信息、結(jié)合傳感器網(wǎng)絡(luò)和其他通信網(wǎng)絡(luò)實(shí)現(xiàn)物體信息可靠傳遞、在云計(jì)算與模糊識(shí)別等技術(shù)支持下處理海量異構(gòu)數(shù)據(jù)則屬于物聯(lián)網(wǎng)三方面特點(diǎn)的具體表現(xiàn)，由此可見電子元器件、數(shù)據(jù)處理中心、傳輸通道三方面能夠視作典型物聯(lián)網(wǎng)應(yīng)用的組成。
1.2云計(jì)算
云計(jì)算本質(zhì)上屬于一種基于互聯(lián)網(wǎng)的新計(jì)算方式，其能夠結(jié)合互聯(lián)網(wǎng)異構(gòu)、自治服務(wù)較好滿足用戶的計(jì)算需要，云計(jì)算中的“云”也能夠被視作對(duì)IT底層基礎(chǔ)設(shè)施的一種抽象概念。本文研究應(yīng)用的Hodoop屬于典型的云計(jì)算基礎(chǔ)開發(fā)平臺(tái)，其本質(zhì)上屬于一個(gè)分布式系統(tǒng)基礎(chǔ)的架構(gòu)，Hodoop在云計(jì)算領(lǐng)域的地位能夠說(shuō)近似于IT產(chǎn)業(yè)的Linux系統(tǒng)。Hodoop的核心為分布式文件系統(tǒng)HDFS和MapReduce，前者具備高容錯(cuò)性、高伸縮性等優(yōu)點(diǎn)，這些就使得Hodoop的布置能夠較為簡(jiǎn)單且低成本的構(gòu)成分布式文件系統(tǒng)，而后者則具備保證分析和處理的高效性潛力，由此Hodoop即可簡(jiǎn)單進(jìn)行數(shù)據(jù)的整合�？傊琀odoop這一云計(jì)算基礎(chǔ)開發(fā)平臺(tái)能夠透過(guò)簡(jiǎn)單組織計(jì)算機(jī)資源實(shí)現(xiàn)分布式計(jì)算云平臺(tái)搭建，并以此實(shí)現(xiàn)云計(jì)算相關(guān)功用。
1.3物聯(lián)網(wǎng)數(shù)據(jù)挖掘需要解決的關(guān)鍵性問(wèn)題
簡(jiǎn)單了解物聯(lián)網(wǎng)與云計(jì)算后，物聯(lián)網(wǎng)數(shù)據(jù)挖掘需要解決的關(guān)鍵性問(wèn)題也應(yīng)引起人們關(guān)注，那里的關(guān)鍵性問(wèn)題主要由以下幾方面構(gòu)成：
1.3.1傳統(tǒng)模式難以應(yīng)用中央模式
屬于較為傳統(tǒng)的數(shù)據(jù)挖掘模式，但是物聯(lián)網(wǎng)數(shù)據(jù)不同存儲(chǔ)地點(diǎn)的特性則使得該模式的效用無(wú)從發(fā)揮。
1.3.2對(duì)中央節(jié)點(diǎn)硬件要求較高
物聯(lián)網(wǎng)本身具備著數(shù)據(jù)規(guī)模、傳感器節(jié)點(diǎn)龐大的特點(diǎn)，而為了同時(shí)滿足其實(shí)時(shí)處理需求，高性能的中央節(jié)點(diǎn)硬件要求務(wù)必得到滿足。
1.3.3節(jié)點(diǎn)資源有限
在有限的節(jié)點(diǎn)資源影響下，分布式節(jié)點(diǎn)務(wù)必負(fù)責(zé)原始數(shù)據(jù)的預(yù)處理與傳遞。
1.3.4外在因素影響
由于數(shù)據(jù)安全性、數(shù)據(jù)保密、法律約束等因素的影響，物聯(lián)網(wǎng)不能夠?qū)⑺袛?shù)據(jù)統(tǒng)一存放在相同數(shù)據(jù)倉(cāng)庫(kù)，這同樣對(duì)物聯(lián)網(wǎng)數(shù)據(jù)挖掘提出了較高挑戰(zhàn)�？偟膩�(lái)說(shuō)，現(xiàn)有技術(shù)與方式并不能較好滿足物聯(lián)網(wǎng)數(shù)據(jù)挖掘需要，這也是本文研究開展的原因所在。
2基于云計(jì)算的物聯(lián)網(wǎng)數(shù)據(jù)挖掘
結(jié)合Hodoop云計(jì)算基礎(chǔ)開發(fā)平臺(tái)進(jìn)行基礎(chǔ)平臺(tái)搭建，選取用物聯(lián)網(wǎng)數(shù)據(jù)集為例，構(gòu)成了物聯(lián)網(wǎng)感知層、傳輸層、數(shù)據(jù)層、數(shù)據(jù)挖掘服務(wù)層四部分模塊組成的平臺(tái)，各模塊的實(shí)現(xiàn)思路與功能如下所示。
2.1物聯(lián)網(wǎng)感知層
物聯(lián)網(wǎng)感知層主要負(fù)責(zé)物聯(lián)網(wǎng)數(shù)據(jù)的采集，這一采集需要得到目標(biāo)區(qū)域布置的采集節(jié)點(diǎn)支持，那里的采集節(jié)點(diǎn)主要由攝像頭、傳感器、其他儀器儀表組成，而由此構(gòu)成的物聯(lián)網(wǎng)感知層無(wú)線傳感器網(wǎng)絡(luò)，便能夠?qū)⒏鞑杉c(diǎn)采集到的網(wǎng)絡(luò)數(shù)據(jù)匯集至節(jié)點(diǎn)，數(shù)據(jù)由此進(jìn)行匯總儲(chǔ)存則能夠在傳輸層的支持下最終傳遞至云平臺(tái)的數(shù)據(jù)中心。
2.2傳輸層傳輸層
本質(zhì)上屬于具備較高可靠性與高速性、較優(yōu)無(wú)縫性特點(diǎn)的數(shù)據(jù)傳輸網(wǎng)絡(luò)，而基于Hodoop云計(jì)算基礎(chǔ)開發(fā)平臺(tái)構(gòu)建的物聯(lián)網(wǎng)挖掘系統(tǒng)則結(jié)合傳感器網(wǎng)絡(luò)、有線網(wǎng)絡(luò)、無(wú)線網(wǎng)絡(luò)實(shí)現(xiàn)了數(shù)據(jù)傳輸網(wǎng)絡(luò)的構(gòu)建，這就使得物聯(lián)網(wǎng)感知層所搜集的信息能夠更快、更好的傳遞到云計(jì)算數(shù)據(jù)中心，由此實(shí)現(xiàn)的更高質(zhì)量互通互聯(lián)，則保證了系統(tǒng)中監(jiān)測(cè)設(shè)備的網(wǎng)絡(luò)化高速數(shù)據(jù)傳輸?shù)靡詫?shí)現(xiàn)。
2.3數(shù)據(jù)層
物聯(lián)網(wǎng)數(shù)據(jù)具備著異構(gòu)性、海量性等特點(diǎn)，這就使得基于Hodoop云計(jì)算基礎(chǔ)開發(fā)平臺(tái)的物聯(lián)網(wǎng)數(shù)據(jù)挖掘系統(tǒng)對(duì)于物聯(lián)網(wǎng)數(shù)據(jù)的存儲(chǔ)與處理存在著較高要求，而在本文研究所構(gòu)建的物聯(lián)網(wǎng)數(shù)據(jù)挖掘系統(tǒng)數(shù)據(jù)層中，該數(shù)據(jù)層主要由數(shù)據(jù)源轉(zhuǎn)換模塊與分布式存儲(chǔ)模塊兩部分組成，其中前者主要負(fù)責(zé)物聯(lián)網(wǎng)異構(gòu)數(shù)據(jù)的轉(zhuǎn)換，而后者則主要負(fù)責(zé)分布式存儲(chǔ)物聯(lián)網(wǎng)所產(chǎn)生的海量數(shù)據(jù)，由此本文研究的物聯(lián)網(wǎng)挖掘系統(tǒng)的性能和可行性便得到了較好證實(shí)。值得注意的是，分布式存儲(chǔ)模塊需要結(jié)合Hodoop云計(jì)算基礎(chǔ)開發(fā)平臺(tái)中的HDFS文件系統(tǒng)實(shí)現(xiàn)。物聯(lián)網(wǎng)中的不同對(duì)象往往會(huì)透過(guò)不同的數(shù)據(jù)類型進(jìn)行表示，這就使得異構(gòu)性勢(shì)必屬于物聯(lián)網(wǎng)的根本性特征，一些相同對(duì)象使用不同數(shù)據(jù)表示便較為直觀說(shuō)明了這一點(diǎn)，而這就使得物聯(lián)網(wǎng)對(duì)數(shù)據(jù)源轉(zhuǎn)換器有著較高需求。在本文構(gòu)建的物聯(lián)網(wǎng)數(shù)據(jù)挖掘系統(tǒng)中，數(shù)據(jù)源轉(zhuǎn)換器在其中發(fā)揮著保護(hù)數(shù)據(jù)存儲(chǔ)完整、保證數(shù)據(jù)挖掘科學(xué)順利等功能，數(shù)據(jù)包解碼、數(shù)據(jù)的分布式存儲(chǔ)也需要得到該轉(zhuǎn)化器的直接支持，這也是物聯(lián)網(wǎng)數(shù)據(jù)挖掘系統(tǒng)中各NameNode節(jié)點(diǎn)文件類型為PML的原因。PML能夠透過(guò)一種通用的方式進(jìn)行物體描述，而作為基于XML建立的語(yǔ)言，PML在與XML相同核心思想的影響下，其便能夠在物品的詳細(xì)信息帶給、物品信息交換等
領(lǐng)域發(fā)揮不俗的功能。例如，在本文研究所構(gòu)建的物聯(lián)網(wǎng)數(shù)據(jù)挖掘系統(tǒng)中，PML便在節(jié)點(diǎn)數(shù)據(jù)采集、傳輸、存儲(chǔ)過(guò)程中發(fā)揮著建模功能，相關(guān)建模信息所收錄的物體屬性信息、位置信息、環(huán)境信息、歷史元素等資料，便能夠保證物品信息實(shí)現(xiàn)較高質(zhì)量的表達(dá)，這對(duì)于物聯(lián)網(wǎng)數(shù)據(jù)挖掘也將帶來(lái)較為用心影響。
2.4數(shù)據(jù)挖掘服務(wù)層
數(shù)據(jù)挖掘服務(wù)層能夠細(xì)分為數(shù)據(jù)準(zhǔn)備模塊、數(shù)據(jù)挖掘引擎模塊、用戶模塊三部分，三部分模塊的具體功用如下所示：
2.4.1數(shù)據(jù)準(zhǔn)備模塊
主要負(fù)責(zé)物聯(lián)網(wǎng)搜集數(shù)據(jù)的清理、變換、數(shù)據(jù)規(guī)約。
2.4.2數(shù)據(jù)挖掘引擎模塊
主要透過(guò)數(shù)據(jù)挖掘算法集、模式評(píng)估等功能為物聯(lián)網(wǎng)數(shù)據(jù)挖掘系統(tǒng)帶給服務(wù)，特征、區(qū)分、關(guān)聯(lián)、聚類、局外者、趨勢(shì)和演化分析、偏差分析、類似性分析等能夠視作該模塊功能的具體組成，這些功能的實(shí)現(xiàn)得益于數(shù)據(jù)挖掘引擎模塊中的算法集，Hodoop云計(jì)算基礎(chǔ)開發(fā)平臺(tái)支持下實(shí)現(xiàn)的算法并行化處理則是該模塊功能實(shí)現(xiàn)的基礎(chǔ)。
2.4.3用戶模塊
實(shí)現(xiàn)對(duì)數(shù)據(jù)挖掘知識(shí)的可視化表示。用戶模塊是本文研究物聯(lián)網(wǎng)數(shù)據(jù)挖掘平臺(tái)面向使用人員的部分，因此在設(shè)計(jì)中筆者注重了系統(tǒng)操作的友好性，簡(jiǎn)單的數(shù)據(jù)挖掘任務(wù)開展、簡(jiǎn)單獲得能夠被理解知識(shí)均屬于設(shè)計(jì)的優(yōu)勢(shì)所在。值得注意的是，為了保證本文研究的物聯(lián)網(wǎng)數(shù)據(jù)挖掘系統(tǒng)具備較高的可移植性，設(shè)計(jì)人員在設(shè)計(jì)之初便為數(shù)據(jù)挖掘服務(wù)層底層模塊設(shè)計(jì)了開放接口，由此該物聯(lián)網(wǎng)數(shù)據(jù)挖掘系統(tǒng)的應(yīng)用豐富性就能夠得到較好保障，表1對(duì)本文研究的物聯(lián)網(wǎng)數(shù)據(jù)挖掘系統(tǒng)組成進(jìn)行了直觀展示。
3實(shí)驗(yàn)驗(yàn)證
3.1物聯(lián)網(wǎng)數(shù)據(jù)挖掘系統(tǒng)工作流程
基于Hodoop云計(jì)算基礎(chǔ)開發(fā)平臺(tái)的物聯(lián)網(wǎng)數(shù)據(jù)挖掘系統(tǒng)工作流程能夠概括為：“用戶→主控節(jié)點(diǎn)→主控節(jié)點(diǎn)允許用戶請(qǐng)求→主控節(jié)點(diǎn)調(diào)用數(shù)據(jù)挖掘算法→調(diào)用數(shù)據(jù)挖掘算法成功→準(zhǔn)備物聯(lián)網(wǎng)數(shù)據(jù)→分布式數(shù)據(jù)挖掘→將結(jié)果傳遞給用戶”，而結(jié)合這一流程本文將圍繞以下幾部分開展具體的物聯(lián)網(wǎng)數(shù)據(jù)挖掘系統(tǒng)工作流程描述，具體描述如下：
3.1.1用戶請(qǐng)求
在用戶請(qǐng)求物聯(lián)網(wǎng)數(shù)據(jù)挖掘系統(tǒng)進(jìn)行數(shù)據(jù)挖掘后，系統(tǒng)的主控節(jié)點(diǎn)將決定該任務(wù)是否能夠進(jìn)行，而在確定能夠進(jìn)行后系統(tǒng)將首先向用戶傳遞能夠進(jìn)行的信息，并隨后開始具體的數(shù)據(jù)挖掘。
3.1.2數(shù)據(jù)挖掘過(guò)程
在確定物聯(lián)網(wǎng)數(shù)據(jù)挖掘系統(tǒng)能夠進(jìn)行數(shù)據(jù)挖掘后，系統(tǒng)的主控節(jié)點(diǎn)將有針對(duì)性的選取數(shù)據(jù)挖掘算法滿足用戶需要，并結(jié)合MapReduce思想與Master/Slave結(jié)構(gòu)進(jìn)行數(shù)據(jù)挖掘任務(wù)的劃分。
3.1.3具體節(jié)點(diǎn)任務(wù)
在數(shù)據(jù)挖掘任務(wù)的劃分下，需要完成具體工作的節(jié)點(diǎn)將被分配任務(wù)，由此物聯(lián)網(wǎng)數(shù)據(jù)挖掘系統(tǒng)的具體數(shù)據(jù)處理便由此開展，同時(shí)JobTracker負(fù)責(zé)的調(diào)度和執(zhí)行則將最后將數(shù)據(jù)挖掘結(jié)果傳遞給用戶。
3.2實(shí)驗(yàn)驗(yàn)證
為了能夠直觀決定基于Hodoop云計(jì)算基礎(chǔ)開發(fā)平臺(tái)物聯(lián)網(wǎng)數(shù)據(jù)挖掘系統(tǒng)可行性和性能水平，明晰MapReduce數(shù)據(jù)挖掘算法在系統(tǒng)中發(fā)揮的作用，本文選取了結(jié)合Apriori算法開展實(shí)驗(yàn)驗(yàn)證的方法，實(shí)驗(yàn)驗(yàn)證的環(huán)境、過(guò)程、結(jié)果如下所示。
3.2.1實(shí)驗(yàn)環(huán)境
實(shí)驗(yàn)選取了4G內(nèi)存、500G硬盤、Windows7系統(tǒng)的計(jì)算機(jī)作為實(shí)驗(yàn)基礎(chǔ)，并在該計(jì)算機(jī)中透過(guò)虛擬機(jī)安裝部署了多個(gè)分布式節(jié)點(diǎn)，其中共3個(gè)虛擬機(jī)中的一個(gè)為NameNodeLinux系統(tǒng)，其余兩個(gè)則為DateNodeLinux系統(tǒng)。為了保證實(shí)驗(yàn)質(zhì)量與效率，筆者還在該計(jì)算機(jī)中安裝了專門用于Linux系統(tǒng)的Eclipse7.5集成開發(fā)環(huán)境，在Windows系統(tǒng)中安裝了SSHSecureShellClient、各個(gè)虛擬機(jī)操作系統(tǒng)中安裝了SSH服務(wù)，由此即可保證本文研究的基于Hodoop云計(jì)算基礎(chǔ)開發(fā)平臺(tái)物聯(lián)網(wǎng)數(shù)據(jù)挖掘系統(tǒng)的順利使用。
3.2.2實(shí)驗(yàn)過(guò)程完成
實(shí)驗(yàn)環(huán)境的搭建后，本文選取了一組用于關(guān)聯(lián)規(guī)則算法的實(shí)驗(yàn)數(shù)據(jù)，并將該數(shù)據(jù)透過(guò)C++代碼編寫的程序透過(guò)關(guān)鍵字搜索方式轉(zhuǎn)換成立標(biāo)準(zhǔn)類型大小為1G的PML文件，在HDFS命令下該文件被放入Hadoop平臺(tái)進(jìn)行分布式存儲(chǔ)，而在運(yùn)行Java語(yǔ)言編寫的Apriori算法后，即可得到物聯(lián)網(wǎng)數(shù)據(jù)挖掘系統(tǒng)的運(yùn)行結(jié)果，透過(guò)查看系統(tǒng)使用中是否找到了實(shí)驗(yàn)數(shù)據(jù)集中的所有頻繁項(xiàng)集便能夠直觀決定其性能。值得注意的是，為了提升實(shí)驗(yàn)的有效性，本文選取了不同大小的文件開展實(shí)驗(yàn)，由此實(shí)現(xiàn)比較物聯(lián)網(wǎng)數(shù)據(jù)挖掘系統(tǒng)運(yùn)行時(shí)間更深入了解其性能。
3.2.3實(shí)驗(yàn)結(jié)果
表2對(duì)基于物聯(lián)網(wǎng)數(shù)據(jù)挖掘系統(tǒng)的實(shí)驗(yàn)結(jié)果進(jìn)行了直觀展示，結(jié)合該表不難發(fā)現(xiàn)，文件大小的提升直接導(dǎo)致物聯(lián)網(wǎng)數(shù)據(jù)挖掘系統(tǒng)運(yùn)行時(shí)間的增長(zhǎng)，這種增長(zhǎng)存在典型的線性趨勢(shì)，而由于應(yīng)用Apriori算法的物聯(lián)網(wǎng)數(shù)據(jù)挖掘系統(tǒng)實(shí)現(xiàn)了頻繁項(xiàng)集的發(fā)現(xiàn)，本文研究的基于Hodoop云計(jì)算基礎(chǔ)開發(fā)平臺(tái)物聯(lián)網(wǎng)數(shù)據(jù)挖掘系統(tǒng)的擴(kuò)展性便得到了較為直觀展現(xiàn)，其所具備的物聯(lián)網(wǎng)海量數(shù)據(jù)挖掘潛力也得到了較好證實(shí)。
4結(jié)論
綜上所述，云計(jì)算平臺(tái)能夠較好服務(wù)于物聯(lián)網(wǎng)的數(shù)據(jù)挖掘。而在此基礎(chǔ)上，本文研究所提出了完善性與科學(xué)性較高的基于Hodoop云計(jì)算基礎(chǔ)開發(fā)平臺(tái)物聯(lián)網(wǎng)數(shù)據(jù)挖掘系統(tǒng)，便直觀證明了全文的實(shí)踐價(jià)值。因此，在相關(guān)領(lǐng)域的理論研究與實(shí)踐探索中，本文資料便能夠發(fā)揮必須參考作用。
參考文獻(xiàn)
[1]湯勇峰.基于云計(jì)算平臺(tái)的物聯(lián)網(wǎng)數(shù)據(jù)挖掘研究[J].電腦知識(shí)與技術(shù)，2017，1307:218-219.
[2]陳俊麗.基于云計(jì)算平臺(tái)的物聯(lián)網(wǎng)數(shù)據(jù)挖掘研究[J].中國(guó)新通信，2016，1821:74-75.
[3]武桂云.基于hadoop平臺(tái)的分布式數(shù)據(jù)挖掘系統(tǒng)研究與設(shè)計(jì)[D].天津大學(xué)，2012.
[4]林昕.基于云計(jì)算的大數(shù)據(jù)挖掘平臺(tái)構(gòu)建研究[J].山東工業(yè)技術(shù)，2015(17):104.
數(shù)據(jù)挖掘論文（七）：
題目：數(shù)據(jù)挖掘技術(shù)在神經(jīng)根型頸椎病方劑研究中的優(yōu)勢(shì)及應(yīng)用進(jìn)展
關(guān)鍵詞：數(shù)據(jù)挖掘技術(shù);神經(jīng)根型頸椎病;方劑;綜述;
1數(shù)據(jù)挖掘技術(shù)簡(jiǎn)介
數(shù)據(jù)挖掘技術(shù)[1](KnowledgeDiscoveryinDatebase，KKD)，是一種新興的信息處理技術(shù)，它融匯了人工智能、模式別、模糊數(shù)學(xué)、數(shù)據(jù)庫(kù)、數(shù)理統(tǒng)計(jì)等多種技術(shù)方法，專門用于海量數(shù)據(jù)的處理，從超多的、不完全的、有噪聲的、模糊的、隨機(jī)的數(shù)據(jù)集中，提取隱含在其中的、人們事先不明白的、但又是潛在的有用的信息和知識(shí)，其目的是發(fā)現(xiàn)規(guī)律而不是驗(yàn)證假設(shè)。數(shù)據(jù)挖掘技術(shù)主要適用于龐大的數(shù)據(jù)庫(kù)的研究，其特點(diǎn)在于:基于數(shù)據(jù)分析方法角度的分類，其本質(zhì)屬于觀察性研究，數(shù)據(jù)來(lái)源于日常診療工作資料，應(yīng)用的技術(shù)較傳統(tǒng)研究更先進(jìn)，分析工具、理論模型與傳統(tǒng)研究區(qū)別較大。其操作步驟包括[2]:選取數(shù)據(jù)，數(shù)據(jù)處理，挖掘分析，結(jié)果解釋，其中結(jié)果解釋是數(shù)據(jù)挖掘技術(shù)研究的關(guān)鍵。其方法包括分類、聚類、關(guān)聯(lián)、序列、決策樹、貝斯網(wǎng)絡(luò)、因子、辨別等分析[3]，其結(jié)果通常表示為概念、規(guī)則、規(guī)律、模式、約束、可視化等形式圖[4]。當(dāng)今數(shù)據(jù)挖掘技術(shù)的方向主要在于:特定數(shù)據(jù)挖掘，高效挖掘算法，提高結(jié)果的有效性、確定性和表達(dá)性，結(jié)果的可視化，多抽象層上的交互式數(shù)據(jù)挖掘，多元數(shù)據(jù)挖掘及數(shù)據(jù)的安全性和保密性。因其優(yōu)勢(shì)和獨(dú)特性被運(yùn)用于多個(gè)領(lǐng)域中，且結(jié)果運(yùn)用后取得顯著成效，因此越來(lái)越多的中醫(yī)方劑研究者將其運(yùn)用于
方劑中藥物的研究。
2數(shù)據(jù)挖掘術(shù)在神經(jīng)根型頸椎病治方研究中的優(yōu)勢(shì)
中醫(yī)對(duì)于神經(jīng)根型頸椎病的治療準(zhǔn)則為辨證論治，從古至今神經(jīng)根型頸椎病的中醫(yī)證型有很多，其治方是集中醫(yī)之理、法、方、藥為一體的數(shù)據(jù)集合，具有以“方-藥-證”為核心的多維結(jié)構(gòu)。方劑配伍本質(zhì)上表現(xiàn)為方與方、方與藥、藥與藥、藥與劑量，以及方藥與證、病、癥交叉錯(cuò)綜的關(guān)聯(lián)與對(duì)應(yīng)[5]，而中醫(yī)方劑講究君臣佐使的配伍，藥物有升降沉浮，四氣五味及歸經(jīng)之別，對(duì)于神經(jīng)根型頸椎病的治療，治方中藥物的種類、炮制方法、用量、用法等都是千變?nèi)f化的，而這些海量、模糊、看似隨機(jī)的藥物背后隱藏著對(duì)臨床有用的信息和規(guī)律，但這些大數(shù)據(jù)是無(wú)法在可承受的時(shí)間范圍內(nèi)可用常規(guī)軟件工具進(jìn)行捕捉、管理和處理的，是需要一個(gè)新處理模式才能具有更強(qiáng)的決策力、洞察力和流程優(yōu)化潛力，而數(shù)據(jù)挖掘技術(shù)有可能從這些海量的的數(shù)據(jù)中發(fā)現(xiàn)新知識(shí)，揭示背后隱藏的關(guān)系和規(guī)則，并且對(duì)未知的狀況進(jìn)行預(yù)測(cè)[6]。再者，中醫(yī)辨治充滿非線性思維，“方-藥-證”間的多層關(guān)聯(lián)、序列組合、集群對(duì)應(yīng)，構(gòu)成了整體論的思維方式和原則，而數(shù)據(jù)挖掘技術(shù)數(shù)據(jù)挖掘在技術(shù)線路上與傳統(tǒng)數(shù)據(jù)處理方法不同在于其能對(duì)數(shù)據(jù)庫(kù)內(nèi)的數(shù)據(jù)以線性和非線性方式解析，尤善處理模糊的、非量化的數(shù)據(jù)。例如趙睿曦等[7]在研究張氏骨傷治療腰椎間盤突出癥的用藥
規(guī)律時(shí)，選取了100張治方，因該病病因病機(jī)復(fù)雜，證候不一，骨傷名師張玉柱先生對(duì)該病的治則治法、藥物使用是不同的。因此他們利用Excel建立方證數(shù)據(jù)庫(kù)，采用SPPSClementine12.0軟件對(duì)這些數(shù)據(jù)的用藥頻次、藥物關(guān)聯(lián)規(guī)則及藥物聚類進(jìn)行分析，最后總結(jié)出張氏骨傷治療腰椎間盤突出癥遵循病從肝治、病從血治、標(biāo)本兼治的原則，也歸納出治療三種不同證型的腰突癥的三類自擬方。由此看出數(shù)據(jù)挖掘技術(shù)在方劑研究中的應(yīng)用對(duì)數(shù)據(jù)背后信息、規(guī)律等的挖掘及名家經(jīng)驗(yàn)的推廣具有重大好處，因此數(shù)據(jù)挖掘技術(shù)在神經(jīng)根型頸椎病的治方研究中也同樣發(fā)揮著巨大的作用。
3數(shù)據(jù)挖掘技術(shù)在神經(jīng)根型頸椎治方中的應(yīng)用進(jìn)展
神經(jīng)根型頸椎病在所有頸椎病中最常見，約占50%~60%[8]，醫(yī)家對(duì)其治方的研究也是不計(jì)其數(shù)。近年來(lái)數(shù)據(jù)挖掘技術(shù)也被運(yùn)用于其治方研究中，筆者透過(guò)萬(wàn)方、中國(guó)知網(wǎng)等總共檢索出以下幾篇文獻(xiàn)，雖數(shù)量不多但其優(yōu)勢(shì)明顯。劉向前等[9]在挖掘古方治療神經(jīng)根型頸椎病的用藥規(guī)律時(shí)，透過(guò)檢索《中華醫(yī)典》并從中篩選以治療頸項(xiàng)肩臂痛為主的古方219首并建立數(shù)據(jù)庫(kù)，對(duì)不同證治古方的用藥類別、總味數(shù)、單味藥使用頻數(shù)及藥對(duì)(組)出現(xiàn)頻數(shù)進(jìn)行統(tǒng)計(jì)，總結(jié)出風(fēng)寒濕痹證、痰濕阻痹證、寒濕阻滯證、正虛不足證的用藥特點(diǎn)，得出解表藥、祛風(fēng)濕藥、活血化瘀藥、補(bǔ)虛藥是治療頸項(xiàng)肩臂痛古方組成的主要藥物。古為今用，該研究對(duì)于現(xiàn)代醫(yī)家在治療該病中有很好的借鑒和參考好處。齊兵獻(xiàn)等[10]檢索CNKI(1980-2009年)相關(guān)文獻(xiàn)中治療神經(jīng)根型頸椎病的方劑建立數(shù)據(jù)庫(kù)，采用SPSS11.5統(tǒng)計(jì)軟件這些治方常用藥物使用頻次頻率、性味頻率、歸經(jīng)頻率分析比較，治療神經(jīng)根型頸椎病的中藥共計(jì)99味，使用頻次479味次;所用藥物種類依次以補(bǔ)益藥、活血化瘀藥、祛風(fēng)濕藥運(yùn)用最多，其中藥味以辛、苦為主，藥性以溫、寒為主，歸經(jīng)以肝、脾、心為主，而本病以肝腎虧虛，氣血瘀滯為主，臨床以補(bǔ)益藥、活血化瘀藥、祛風(fēng)濕藥等中藥運(yùn)用最多。這對(duì)于醫(yī)家
治療該病選用藥物的性味、歸經(jīng)等具有指導(dǎo)好處。陳元川等[11]檢索2004年1月至2013年3月發(fā)表的以單純口服中藥治療神經(jīng)根型頸椎病的有關(guān)文獻(xiàn)，對(duì)其中的方劑和藥物進(jìn)行統(tǒng)計(jì)、歸類、分析，最終納入32首方劑，涉及111味中藥，補(bǔ)氣藥、發(fā)散風(fēng)寒藥、活血止痛藥、補(bǔ)血藥等使用頻次較高;葛根、白芍、黃芪、當(dāng)歸、桂枝等藥物使用頻次較高，證實(shí)與古方桂枝加葛根湯主藥相同，且該方扶陽(yáng)解表的治法與該研究得出的扶正祛邪的結(jié)果相吻合，同時(shí)也證實(shí)石氏傷科強(qiáng)調(diào)治傷科病當(dāng)“以氣為主，以血為先”等正確性。所以大數(shù)據(jù)背后的規(guī)律和關(guān)系在很多方面古今是一致的，同時(shí)數(shù)據(jù)依據(jù)的支持也為現(xiàn)代神經(jīng)根型頸椎病治療帶給有力的保障。謝輝等[12]收集2009至2014年10月3日的166張治療神經(jīng)根型頸椎病的治方建立數(shù)據(jù)庫(kù)，采用關(guān)聯(lián)規(guī)則算法、復(fù)雜系統(tǒng)熵聚類等無(wú)監(jiān)督數(shù)據(jù)挖掘方法，利用中醫(yī)傳承輔助平臺(tái)(TCMISS)軟件分析處方中各種藥物的使用頻次、藥物之間的關(guān)聯(lián)規(guī)則、核心藥物組合和新處方，從中挖掘出治療該病中醫(yī)中的常用藥物、藥對(duì)，闡明了治療該病以解肌散寒藥、補(bǔ)氣活血藥、祛風(fēng)勝濕藥和溫經(jīng)通絡(luò)藥為主，治法主要包括解肌舒筋、益氣活血和補(bǔ)益肝腎，這一方面很清晰明了地展示了藥物使用頻率、藥物之間的聯(lián)系，證實(shí)其與很多古代
經(jīng)典中治療神經(jīng)根型頸椎病的治則、治法及用藥規(guī)律是吻合的，是臨床用藥的積累和升華，可有效地指導(dǎo)臨床并提高療效;另一方面也為中藥新藥的創(chuàng)制帶給處方來(lái)源，指導(dǎo)新藥研發(fā)[13]。
4小結(jié)
數(shù)據(jù)挖掘技術(shù)作為一種新型的研究技術(shù)，在神經(jīng)根型頸椎病的治方研究中的運(yùn)用相對(duì)于其他領(lǐng)域是偏少的，并且基本上是研究文獻(xiàn)資料上出現(xiàn)的治方，在對(duì)名老中醫(yī)個(gè)人治療經(jīng)驗(yàn)及用藥規(guī)律的總結(jié)是缺乏的，因此研究范圍廣而缺乏針對(duì)性，同時(shí)使用該技術(shù)的相關(guān)軟件種類往往是單一的。此刻研究者在研究中醫(yī)方劑時(shí)往往采用傳統(tǒng)的研究方法，這就導(dǎo)致在大數(shù)據(jù)的研究中耗時(shí)、耗力甚則無(wú)能為力，同樣也難以精準(zhǔn)地提取大數(shù)據(jù)背后的隱藏的潛在關(guān)系和規(guī)則及缺乏對(duì)未知狀況的預(yù)測(cè)。產(chǎn)生這樣的現(xiàn)狀，一方面是很多研究者尚未清楚該技術(shù)在方劑研究中的優(yōu)勢(shì)所在，思維模式尚未更新;另一方面是很多研究者尚未清楚該技術(shù)的操作技能及軟件種類及其應(yīng)用范圍。故以后應(yīng)向更多研究者普及該技術(shù)的軟件種類、其中的優(yōu)勢(shì)及操作技能，讓該技術(shù)在臨床中使用更廣，產(chǎn)生更大的效益。
參考文獻(xiàn)
[1]舒正渝.淺談數(shù)據(jù)挖掘技術(shù)及應(yīng)用[J].中國(guó)西部科技，2010，9(5):38-39.
[2]曹毅，季聰華.臨床科研設(shè)計(jì)與分析[M].杭州:浙江科學(xué)技術(shù)出版社，2015:189.
[3]王靜，崔蒙.數(shù)據(jù)挖掘技術(shù)在中醫(yī)方劑學(xué)研究中的應(yīng)用[J].中國(guó)中醫(yī)藥信息雜志，2008，15(3):103-104.
[4]陳丈偉.數(shù)據(jù)倉(cāng)庫(kù)與數(shù)據(jù)挖掘[M].北京:清華大學(xué)出版社，2006:5.
[5]楊玉珠.數(shù)據(jù)挖掘技術(shù)綜述與應(yīng)用[J].河南科技，2014，10(19):21.
[6]余侃侃.數(shù)據(jù)挖掘技術(shù)在方劑配伍中的研究現(xiàn)狀及研究方法[J].中國(guó)醫(yī)藥指南，2008，6(24):310-312.
[7]趙睿曦.方證數(shù)據(jù)挖掘分析張氏骨傷對(duì)腰椎間盤突出癥的辨證用藥規(guī)律[J].陜西中醫(yī)藥大學(xué)學(xué)報(bào)，2016，39(6):44-46.
[8]李曙明，尹戰(zhàn)海，王瑩.神經(jīng)根型頸椎病的影像學(xué)特點(diǎn)和分型[J].中國(guó)矯形外科雜志，2013，21(1):7-11.
[9]劉向前，陳民，黃廣平等.頸項(xiàng)肩臂痛內(nèi)治古方常用藥物的統(tǒng)計(jì)分析[J].中華中醫(yī)藥學(xué)刊，2012，30(9):42-44.
[10]齊兵獻(xiàn)，樊成虎，李兆和.神經(jīng)根型頸椎病中醫(yī)用藥規(guī)律的文獻(xiàn)研究[J].河南中醫(yī)，2012，32(4):518-519.
[11]陳元川，王翔，龐堅(jiān)，等.單純口服中藥治療神經(jīng)根型頸椎病用藥分析[J].上海中醫(yī)藥雜志，2014，48(6):78-80.
[12]謝輝，劉軍，潘建科，等.基于數(shù)據(jù)挖掘方法的神經(jīng)根型頸椎病用藥規(guī)律研究[J].世界中西醫(yī)結(jié)合雜志，2015，10(6):849-852.
[13]唐仕歡，楊洪軍.中醫(yī)組方用藥規(guī)律研究進(jìn)展述評(píng)[J].中國(guó)實(shí)驗(yàn)方劑學(xué)雜志，2013(5):359-363.
數(shù)據(jù)挖掘論文（八）：
關(guān)于計(jì)算機(jī)Web數(shù)據(jù)及其在電子商務(wù)中的應(yīng)用探析
論文摘要：目前計(jì)算機(jī)Web數(shù)據(jù)挖掘技術(shù)被廣泛應(yīng)用于電子商務(wù)活動(dòng)，它是隨著網(wǎng)絡(luò)技術(shù)和數(shù)據(jù)庫(kù)技術(shù)的快速發(fā)展而出現(xiàn)的一種新技術(shù)，已成為現(xiàn)代電子商務(wù)企業(yè)獲取市場(chǎng)信息極為重要的工具。介紹了Web數(shù)據(jù)挖掘的含義、特征及類別，重點(diǎn)探究了計(jì)算機(jī)Web數(shù)據(jù)挖掘技術(shù)在電子商務(wù)中的幾種典型應(yīng)用。
論文關(guān)鍵詞：數(shù)據(jù)挖掘;電子商務(wù);Web數(shù)據(jù)挖掘
1引言
當(dāng)前，隨著網(wǎng)絡(luò)技術(shù)的發(fā)展和數(shù)據(jù)庫(kù)技術(shù)的迅猛發(fā)展，有效推動(dòng)了商務(wù)活動(dòng)由傳統(tǒng)活動(dòng)向電子商務(wù)變革。電子商務(wù)就是利用計(jì)算機(jī)和網(wǎng)絡(luò)技術(shù)以及遠(yuǎn)程通信技術(shù)，實(shí)現(xiàn)整個(gè)商務(wù)活動(dòng)的電子化、數(shù)字化和網(wǎng)絡(luò)化。基于Internet的電子商務(wù)快速發(fā)展，使現(xiàn)代企業(yè)積累了超多的數(shù)據(jù)，這些數(shù)據(jù)不僅僅能給企業(yè)帶來(lái)更多有用信息，同時(shí)還使其他現(xiàn)代企業(yè)管理者能夠及時(shí)準(zhǔn)確的搜集到超多的數(shù)據(jù)。訪問(wèn)客戶帶給更多更優(yōu)質(zhì)的服務(wù)，成為電子商務(wù)成敗的關(guān)鍵因素，因而受到現(xiàn)代電子商務(wù)經(jīng)營(yíng)者的高度關(guān)注，這也對(duì)計(jì)算機(jī)web數(shù)據(jù)技術(shù)提出了新的要求，Web數(shù)據(jù)挖掘技術(shù)應(yīng)運(yùn)而生。它是一種能夠從網(wǎng)上獲取超多數(shù)據(jù)，并能有效地提取有用信息供企業(yè)決策者分析參考，以便科學(xué)合理制定和調(diào)整營(yíng)銷策略，為客戶帶給動(dòng)態(tài)、個(gè)性化、高效率服務(wù)的全新技術(shù)。目前，它已成為電子商務(wù)活動(dòng)中不可或缺的重要載體。
2計(jì)算機(jī)web數(shù)據(jù)挖掘概述
2.1計(jì)算機(jī)web數(shù)據(jù)挖掘的由來(lái)
計(jì)算機(jī)Web數(shù)據(jù)挖掘是一個(gè)在Web資源上將對(duì)自己有用的數(shù)據(jù)信息進(jìn)行篩選的過(guò)程。Web數(shù)據(jù)挖掘是把傳統(tǒng)的數(shù)據(jù)挖掘思想和方法移植到Web應(yīng)用中，即從現(xiàn)有的Web文檔和活動(dòng)中挑選自己感興趣且有用的模式或者隱藏的數(shù)據(jù)信息。計(jì)算機(jī)Web數(shù)據(jù)挖掘能夠在多領(lǐng)域中展示其作用，目前已被廣泛應(yīng)用于數(shù)據(jù)庫(kù)技術(shù)、信息獲取技術(shù)、統(tǒng)計(jì)學(xué)、人工智能中的機(jī)器學(xué)習(xí)和神經(jīng)網(wǎng)絡(luò)等多個(gè)方面，其中對(duì)商務(wù)活動(dòng)的變革起到重大的推動(dòng)作用方面最為明顯。
2.2計(jì)算機(jī)Web數(shù)據(jù)挖掘含義及特征
�。�1）Web數(shù)據(jù)挖掘的含義。
Web數(shù)據(jù)挖掘是指數(shù)據(jù)挖掘技術(shù)在Web環(huán)境下的應(yīng)用，是一項(xiàng)數(shù)據(jù)挖掘技術(shù)與WWW技術(shù)相結(jié)合產(chǎn)生的新技術(shù)，綜合運(yùn)用到了計(jì)算機(jī)語(yǔ)言、Internet、人工智能、統(tǒng)計(jì)學(xué)、信息學(xué)等多個(gè)領(lǐng)域的技術(shù)。具體說(shuō)，就是透過(guò)充分利用網(wǎng)絡(luò)（Internet），挖掘用戶訪問(wèn)日志文件、商品信息、搜索信息、購(gòu)銷信息以及網(wǎng)絡(luò)用戶登記信息等資料，從中找出隱性的、潛在有用的和有價(jià)值的信息，最后再用于企業(yè)管理和商業(yè)決策。
�。�2）Web數(shù)據(jù)挖掘的特點(diǎn)。
計(jì)算機(jī)Web數(shù)據(jù)挖掘技術(shù)具有以下特點(diǎn)：一是用戶不用帶給主觀的評(píng)價(jià)信息；二是用戶“訪問(wèn)模式動(dòng)態(tài)獲取”不會(huì)過(guò)時(shí)；三是能夠處理大規(guī)模的數(shù)據(jù)量，并且使用方便；四是與傳統(tǒng)數(shù)據(jù)庫(kù)和數(shù)據(jù)倉(cāng)庫(kù)相比，Web是一個(gè)巨大、分布廣泛、全球性的信息服務(wù)中心。
�。�3）計(jì)算機(jī)web數(shù)據(jù)挖掘技術(shù)的類別。
web數(shù)據(jù)挖掘技術(shù)共有三類：第一類是Web使用記錄挖掘。就是透過(guò)網(wǎng)絡(luò)對(duì)Web日志記錄進(jìn)行挖掘，查找用戶訪問(wèn)Web頁(yè)面的模式及潛在客戶等信息，以此提高其站點(diǎn)所有服務(wù)的競(jìng)爭(zhēng)力。第二類是Web資料挖掘。既是指從Web文檔中抽取知識(shí)的過(guò)程。第三類是Web結(jié)構(gòu)挖掘。就是透過(guò)對(duì)Web上超多文檔集合的資料進(jìn)行小結(jié)、聚類、關(guān)聯(lián)分析的方式，從Web文檔的組織結(jié)構(gòu)和鏈接關(guān)系中預(yù)測(cè)相關(guān)信息和知識(shí)。
3計(jì)算機(jī)web數(shù)據(jù)挖掘技術(shù)與電子商務(wù)的關(guān)系
借助計(jì)算機(jī)技術(shù)和網(wǎng)絡(luò)技術(shù)的日臻成熟，電子商務(wù)正以其快速、便捷的特點(diǎn)受到越來(lái)越多的企業(yè)和個(gè)人的關(guān)注。隨著電子商務(wù)企業(yè)業(yè)務(wù)規(guī)模的不斷擴(kuò)大，電子商務(wù)企業(yè)的商品和客戶數(shù)量也隨之迅速增加，電子商務(wù)企業(yè)以此獲得了超多的數(shù)據(jù)，這些數(shù)據(jù)正成為了電子商務(wù)企業(yè)客戶管理和銷售管理的重要信息。為了更好地開發(fā)和利用這些數(shù)據(jù)資源，以便給企業(yè)和客戶帶來(lái)更多的便利和實(shí)惠，各種數(shù)據(jù)挖掘技術(shù)也逐漸被應(yīng)用到電子商務(wù)網(wǎng)站中。目前，基于數(shù)據(jù)挖掘（個(gè)性是web數(shù)據(jù)挖掘）技術(shù)構(gòu)建的電子商務(wù)推薦系統(tǒng)正成為電子商務(wù)推薦系統(tǒng)發(fā)展的一種趨勢(shì)。
4計(jì)算機(jī)web數(shù)據(jù)挖掘在電子商務(wù)中的具體應(yīng)用
�。�1）電子商務(wù)中的web數(shù)據(jù)挖掘的過(guò)程。
在電子商務(wù)中，web數(shù)據(jù)挖掘的過(guò)程主要有以下三個(gè)階段：既是數(shù)據(jù)準(zhǔn)備階段、數(shù)據(jù)挖掘操作階段、結(jié)果表達(dá)和解釋階段。如果在結(jié)果表達(dá)階段中，分析結(jié)果不能讓電子商務(wù)企業(yè)的決策者滿意，就需要重復(fù)上述過(guò)程，直到滿意為止。
�。�2）Web數(shù)據(jù)挖掘技術(shù)在電子商務(wù)中的應(yīng)用。
目前，電子商務(wù)在企業(yè)中得到廣泛應(yīng)用，極大地促進(jìn)了電子商務(wù)網(wǎng)站的興起，經(jīng)過(guò)分析必須時(shí)期內(nèi)站點(diǎn)上的用戶的訪問(wèn)信息，便可發(fā)現(xiàn)該商務(wù)站點(diǎn)上潛在的客戶群體、相關(guān)頁(yè)面、聚類客戶等數(shù)據(jù)信息，企業(yè)信息系統(tǒng)因此會(huì)獲得超多的數(shù)據(jù)，如此多的數(shù)據(jù)使Web數(shù)據(jù)挖掘有了豐富的數(shù)據(jù)基礎(chǔ)，使它在各種商業(yè)領(lǐng)域有著更加重要的實(shí)用價(jià)值。因而，電子商務(wù)必將是未來(lái)Web數(shù)據(jù)挖掘的主攻方向。Web數(shù)據(jù)挖掘技術(shù)在電子商務(wù)中的應(yīng)用主要包含以下幾方面：
一是尋找潛在客戶。電子商務(wù)活動(dòng)中，企業(yè)的銷售商能夠利用分類技術(shù)在Internet上找到潛在客戶，透過(guò)挖掘Web日志記錄等信息資源，對(duì)訪問(wèn)者進(jìn)行分類，尋找訪問(wèn)客戶共同的特征和規(guī)律，然后從已經(jīng)存在的分類中找到潛在的客戶。
二是留住訪問(wèn)客戶。電子商務(wù)企業(yè)透過(guò)商務(wù)網(wǎng)站能夠充分挖掘客戶瀏覽訪問(wèn)時(shí)留下的信息，了解客戶的瀏覽行為，然后根據(jù)客戶不同的愛好和要求，及時(shí)做出讓訪問(wèn)客戶滿意的頁(yè)面推薦和專屬性產(chǎn)品，以此來(lái)不斷提高網(wǎng)站訪問(wèn)的滿意度，最大限度延長(zhǎng)客戶駐留的時(shí)間，實(shí)現(xiàn)留住老客戶發(fā)掘新客戶的目的。
三是帶給營(yíng)銷策略參考。透過(guò)Web數(shù)據(jù)挖掘，電子商務(wù)企業(yè)銷售商能夠透過(guò)挖掘商品訪問(wèn)狀況和銷售狀況，同時(shí)結(jié)合市場(chǎng)的變化狀況，透過(guò)聚類分析的方法，推導(dǎo)出客戶訪問(wèn)的規(guī)律，不同的消費(fèi)需求以及消費(fèi)產(chǎn)品的生命周期等狀況，為決策帶給及時(shí)而準(zhǔn)確的信息參考，以便決策者能夠適時(shí)做出商品銷售策略調(diào)整，優(yōu)化商品營(yíng)銷。
四是完善商務(wù)網(wǎng)站設(shè)計(jì)。電子商務(wù)網(wǎng)站站點(diǎn)設(shè)計(jì)者能夠利用關(guān)聯(lián)規(guī)則，來(lái)了解客戶的行為記錄和反饋狀況，并以此作為改善網(wǎng)站的依據(jù)，不斷對(duì)網(wǎng)站的組織結(jié)構(gòu)進(jìn)行優(yōu)化來(lái)方便客戶訪問(wèn)，不斷提高網(wǎng)站的點(diǎn)擊率。
5結(jié)語(yǔ)
本文對(duì)Web挖掘技術(shù)進(jìn)行了綜述，講述了其在電子商務(wù)中廣泛應(yīng)用。能夠看出，隨著計(jì)算機(jī)技術(shù)和數(shù)據(jù)庫(kù)技術(shù)快速發(fā)展，計(jì)算機(jī)Web數(shù)據(jù)技術(shù)的應(yīng)用將更加廣泛，Web數(shù)據(jù)挖掘也將成為十分重要的研究領(lǐng)域，研究前景巨大、好處深遠(yuǎn)。目前，我國(guó)的Web數(shù)據(jù)應(yīng)用還處于探索和起步階段，還有許多問(wèn)題值得深入研究。
數(shù)據(jù)挖掘論文（九）：
題目：軟件工程數(shù)據(jù)挖掘研究進(jìn)展
摘要：數(shù)據(jù)挖掘是指在大數(shù)據(jù)中開發(fā)出有價(jià)值信息數(shù)據(jù)的過(guò)程。計(jì)算機(jī)技術(shù)的不斷進(jìn)步，透過(guò)人工的方式進(jìn)行軟件的開發(fā)與維護(hù)難度較大。而數(shù)據(jù)挖掘能夠有效的提升軟件開發(fā)的效率，并能夠在超多的數(shù)據(jù)中獲得有效的數(shù)據(jù)。文章主要探究軟件工程中數(shù)據(jù)挖掘技術(shù)的任務(wù)和存在的問(wèn)題，并重點(diǎn)論述軟件開發(fā)過(guò)程中出現(xiàn)的問(wèn)題和相關(guān)的解決措施。
關(guān)鍵詞：軟件工程;數(shù)據(jù)挖掘;解決措施;
在軟件開發(fā)過(guò)程中，為了能夠獲得更加準(zhǔn)確的數(shù)據(jù)資源，軟件的研發(fā)人員就需要搜集和整理數(shù)據(jù)。但是在大數(shù)據(jù)時(shí)代，人工獲取數(shù)據(jù)信息的難度極大。當(dāng)前，軟件工程中運(yùn)用最多的就是數(shù)據(jù)挖掘技術(shù)。軟件挖掘技術(shù)是傳統(tǒng)數(shù)據(jù)挖掘技術(shù)在軟件工程方向的其中一部分。但是它具有自身的特征，體此刻以下三個(gè)方面:
(1)在軟件工程中，對(duì)有效數(shù)據(jù)的挖掘和處理;
(2)挖掘數(shù)據(jù)算法的選取問(wèn)題;
(3)軟件的開發(fā)者該如何選取數(shù)據(jù)。
1在軟件工程中數(shù)據(jù)挖掘的主要任務(wù)
在數(shù)據(jù)挖掘技術(shù)中，軟件工程數(shù)據(jù)挖掘是其中之一，其挖掘的過(guò)程與傳統(tǒng)數(shù)據(jù)的挖掘無(wú)異。通常包括三個(gè)階段:第一階段，數(shù)據(jù)的預(yù)處理;第二階段，數(shù)據(jù)的挖掘;第三階段，對(duì)結(jié)果的評(píng)估。第一階段的主要任務(wù)有對(duì)數(shù)據(jù)的分類、對(duì)異常數(shù)據(jù)的檢測(cè)以及整理和提取復(fù)雜信息等。雖然軟件工程的數(shù)據(jù)挖掘和傳統(tǒng)的數(shù)據(jù)挖掘存在相似性，但是也存在必須的差異，其主要體此刻以下三個(gè)方面:
1.1軟件工程的數(shù)據(jù)更加復(fù)雜
軟件工程數(shù)據(jù)主要包括兩種，一種是軟件報(bào)告，另外一種是軟件的版本信息。當(dāng)然還包括一些軟件代碼和注釋在內(nèi)的非結(jié)構(gòu)化數(shù)據(jù)信息。這兩種軟件工程數(shù)據(jù)的算法是不同的，但是兩者之間又有必須的聯(lián)系，這也是軟件工程數(shù)據(jù)挖掘復(fù)雜性的重要原因。
1.2數(shù)據(jù)分析結(jié)果的表現(xiàn)更加特殊
傳統(tǒng)的數(shù)據(jù)挖掘結(jié)果能夠透過(guò)很多種結(jié)果展示出來(lái)，最常見的有報(bào)表和文字的方式。但是對(duì)于軟件工程的數(shù)據(jù)挖掘來(lái)講，它最主要的職能是給軟件的研發(fā)人員帶給更加精準(zhǔn)的案例，軟件漏洞的實(shí)際定位以及設(shè)計(jì)構(gòu)造方面的信息，同時(shí)也包括數(shù)據(jù)挖掘的統(tǒng)計(jì)結(jié)果。所以這就要求軟件工程的數(shù)據(jù)挖掘需要更加先進(jìn)的結(jié)果提交方式和途徑。
1.3對(duì)數(shù)據(jù)挖掘結(jié)果難以達(dá)成一致的評(píng)價(jià)
我國(guó)傳統(tǒng)的數(shù)據(jù)挖掘已經(jīng)初步構(gòu)成統(tǒng)一的評(píng)價(jià)標(biāo)準(zhǔn)，而且評(píng)價(jià)體系相對(duì)成熟。但是軟件工程的數(shù)據(jù)挖掘過(guò)程中，研發(fā)人員需要更多復(fù)雜而又具體的數(shù)據(jù)信息，所以數(shù)據(jù)的表示方法也相對(duì)多樣化，數(shù)據(jù)之間難以進(jìn)行比較，所以也就難以達(dá)成一致的評(píng)價(jià)標(biāo)準(zhǔn)和結(jié)果。不難看出，軟件工程數(shù)據(jù)挖掘的關(guān)鍵在于對(duì)挖掘數(shù)據(jù)的預(yù)處理和對(duì)數(shù)據(jù)結(jié)果的表示方法。
2軟件工程研發(fā)階段出現(xiàn)的問(wèn)題和解決措施
軟件在研發(fā)階段主要的任務(wù)是對(duì)軟件運(yùn)行程序的編寫。以下是軟件在編碼和結(jié)果的提交過(guò)程中出現(xiàn)的問(wèn)題和相應(yīng)的解決措施。
2.1對(duì)軟件代碼的編寫過(guò)程
該過(guò)程需要軟件的研發(fā)人員能夠?qū)ψ约盒枰帉懙拇a結(jié)構(gòu)與功能有充分的了解和認(rèn)識(shí)。并能夠依據(jù)自身掌握的信息，在數(shù)據(jù)庫(kù)中搜集到能夠使用的數(shù)據(jù)信息。通常狀況下，編程需要的數(shù)據(jù)信息能夠分為三個(gè)方面:
(1)軟件的研發(fā)人員能夠在已經(jīng)存在的代碼中搜集能夠重新使用的代碼;
(2)軟件的研發(fā)人員能夠搜尋能夠重用的靜態(tài)規(guī)則，比如繼承關(guān)系等。
(3)軟件的開發(fā)人員搜尋能夠重用的動(dòng)態(tài)規(guī)則。
包括軟件的接口調(diào)用順序等。在尋找以上信息的過(guò)程中，通常是利用軟件的幫忙文檔、尋求外界幫忙和搜集代碼的方式實(shí)現(xiàn)，但是以上方式在搜集信息過(guò)程中往往會(huì)遇到較多的問(wèn)題，比如:幫忙文檔的準(zhǔn)確性較低，同時(shí)不夠完整，可利用的重用信息不多等。
2.2對(duì)軟件代碼的重用
在對(duì)軟件代碼重用過(guò)程中，最關(guān)鍵的問(wèn)題是軟件的研發(fā)人員務(wù)必掌握需要的類或方法，并能夠透過(guò)與之有聯(lián)系的代碼實(shí)現(xiàn)代碼的重用。但是這種方式哦足跡信息將會(huì)耗費(fèi)工作人員超多的精力。而透過(guò)關(guān)鍵詞在代碼庫(kù)中搜集可重用的軟件代碼，同時(shí)按照代碼的相關(guān)度對(duì)搜集到的代碼進(jìn)行排序，該過(guò)程使用的原理就是可重用的代碼必然模式基本類似，最終所展現(xiàn)出來(lái)的搜索結(jié)果是以上下文結(jié)構(gòu)的方式展現(xiàn)的。比如:類與類之間的聯(lián)系。其實(shí)現(xiàn)的具體流程如下:
(1)軟件的開發(fā)人員建立同時(shí)具備例程和上下文架構(gòu)的代碼庫(kù);
(2)軟件的研發(fā)人員能夠向代碼庫(kù)帶給類的相關(guān)信息，然后對(duì)反饋的結(jié)果進(jìn)行評(píng)估，建立新型的代碼庫(kù)。
(3)未來(lái)的研發(fā)人員在搜集過(guò)程中能夠按照評(píng)估結(jié)果的高低排序，便于查詢，極大地縮減工作人員的任務(wù)量，提升其工作效率。
2.3對(duì)動(dòng)態(tài)規(guī)則的重用
軟件工程領(lǐng)域內(nèi)對(duì)動(dòng)態(tài)規(guī)則重用的研究已經(jīng)相對(duì)成熟，透過(guò)在編譯器內(nèi)安裝特定插件的方式檢驗(yàn)代碼是否為動(dòng)態(tài)規(guī)則最適用的，并能夠?qū)⒉贿m合的規(guī)則反饋給軟件的研發(fā)人員。其操作流程為:
(1)軟件的研發(fā)人員能夠規(guī)定動(dòng)態(tài)規(guī)則的順序，主要表此刻:使用某一函數(shù)是不能夠調(diào)用其他的函數(shù)。
(2)實(shí)現(xiàn)對(duì)相關(guān)數(shù)據(jù)的保存，能夠透過(guò)隊(duì)列等簡(jiǎn)單的數(shù)據(jù)結(jié)構(gòu)完成。在利用編譯拓展中檢測(cè)其中的順序。
(3)能夠?qū)㈠e(cuò)誤的信息反饋給軟件的研發(fā)人員。
3結(jié)束語(yǔ)
在軟件工程的數(shù)據(jù)挖掘過(guò)程中，數(shù)據(jù)挖掘的概念才逐步被定義，但是所需要挖掘的數(shù)據(jù)是已經(jīng)存在的。數(shù)據(jù)挖掘技術(shù)在軟件工程中的運(yùn)用能夠降低研發(fā)人員的工作量，同時(shí)軟件工程與數(shù)據(jù)挖掘的結(jié)合是計(jì)算機(jī)技術(shù)必然的發(fā)展方向。從數(shù)據(jù)挖掘的過(guò)程來(lái)講，在其整個(gè)實(shí)施過(guò)程和周期中都包括軟件工程。而對(duì)數(shù)據(jù)挖掘的技術(shù)手段來(lái)講，它在軟件工程中的運(yùn)用更加普遍。在對(duì)數(shù)據(jù)挖掘技術(shù)的研究過(guò)程中能夠發(fā)現(xiàn)，該技術(shù)雖然已經(jīng)獲得必須的效果，但是還有更多未被挖掘的空間，還需要進(jìn)一步的研究和發(fā)現(xiàn)。
參考文獻(xiàn)
[1]王藝蓉.試析面向軟件工程數(shù)據(jù)挖掘的開發(fā)測(cè)試技術(shù)[J].電子技術(shù)與軟件工程，2017(18):64.
[2]吳彥博.軟件工程中數(shù)據(jù)挖掘技術(shù)的運(yùn)用探索[J].數(shù)字通信世界，2017(09):187.
[3]周雨辰.數(shù)據(jù)挖掘技術(shù)在軟件工程中的應(yīng)用研究[J].電腦迷，2017(08):27-28.
[4]劉桂林.分析軟件工程中數(shù)據(jù)挖掘技術(shù)的應(yīng)用方式[J].中國(guó)新通信，2017，19(13):119.
數(shù)據(jù)挖掘論文（十）：
數(shù)據(jù)挖掘在電力調(diào)度自動(dòng)化系統(tǒng)的應(yīng)用
摘要：電力調(diào)度自動(dòng)化系統(tǒng)主要是被應(yīng)用在線調(diào)度生產(chǎn)運(yùn)行中，能夠?qū)?shù)據(jù)信息進(jìn)行分析、控制、傳輸。數(shù)據(jù)挖掘技術(shù)作為一種人工智能和數(shù)據(jù)庫(kù)技術(shù)結(jié)合的新型技術(shù)形式，將其應(yīng)用到電力調(diào)度自動(dòng)化系統(tǒng)中能夠有效解決電力調(diào)動(dòng)自動(dòng)化系統(tǒng)數(shù)據(jù)信息應(yīng)用不合理的問(wèn)題。文章在闡述數(shù)據(jù)挖掘和電力調(diào)度自動(dòng)化系統(tǒng)內(nèi)涵的基礎(chǔ)上，結(jié)合蟻群算法改善原有周期性數(shù)據(jù)挖掘方法，旨在進(jìn)一步提升電力調(diào)度自動(dòng)化系統(tǒng)運(yùn)行速度，為相關(guān)人員的報(bào)表制定、事故預(yù)警帶給幫忙。
關(guān)鍵詞：數(shù)據(jù)挖掘；電力調(diào)度自動(dòng)化系統(tǒng)；應(yīng)用
在大數(shù)據(jù)技術(shù)的不斷發(fā)展下，人們對(duì)數(shù)據(jù)信息的需求增加，但是現(xiàn)階段社會(huì)發(fā)展中缺乏對(duì)數(shù)據(jù)信息進(jìn)行有效分析、處理的工具。數(shù)據(jù)庫(kù)系統(tǒng)也僅僅是對(duì)數(shù)據(jù)信息的簡(jiǎn)單處理，無(wú)法充分挖掘數(shù)據(jù)信息背后的隱藏信息，因而無(wú)法發(fā)揮出數(shù)據(jù)信息在人類社會(huì)發(fā)展中的重要作用。電力調(diào)度自動(dòng)化系統(tǒng)中包含超多電力數(shù)據(jù)信息，但是在實(shí)際應(yīng)用中這些信息是很難被完全挖掘出來(lái)的。數(shù)據(jù)挖掘的出現(xiàn)有效解決了信息無(wú)法充分挖掘的問(wèn)題，能夠?qū)崿F(xiàn)對(duì)噪聲數(shù)據(jù)、不完全數(shù)據(jù)的有效處理。在數(shù)據(jù)挖掘中，關(guān)聯(lián)規(guī)則數(shù)據(jù)是數(shù)據(jù)挖掘的重要課題，透過(guò)關(guān)聯(lián)規(guī)則能夠發(fā)現(xiàn)不同數(shù)據(jù)庫(kù)數(shù)據(jù)信息之間的關(guān)聯(lián)，為數(shù)據(jù)挖掘帶給有力支持。為此，文章重點(diǎn)分析基于關(guān)聯(lián)規(guī)則的數(shù)據(jù)挖掘在電力調(diào)度自動(dòng)化系統(tǒng)中的應(yīng)用。
1數(shù)據(jù)挖掘概述
1.1內(nèi)涵和分類
在信息技術(shù)的發(fā)展下，我國(guó)數(shù)據(jù)庫(kù)庫(kù)存容量急劇擴(kuò)張，在龐大的數(shù)據(jù)信息中怎樣獲取有效的數(shù)據(jù)信息成為相關(guān)人員重點(diǎn)思考的問(wèn)題。數(shù)據(jù)挖掘能夠從技術(shù)層面來(lái)分析、處理這些數(shù)據(jù)信息，透過(guò)各種分析工具的利用來(lái)找到數(shù)據(jù)信息和模型構(gòu)建之間的關(guān)聯(lián)，為相關(guān)領(lǐng)域的發(fā)展帶給重要決策支持。在信息挖掘技術(shù)的發(fā)展下，出現(xiàn)了不同類型的數(shù)據(jù)挖掘技術(shù)和方法。
1.2關(guān)聯(lián)規(guī)則挖掘
關(guān)聯(lián)規(guī)則挖掘是數(shù)據(jù)挖掘的重要分支，是常見的數(shù)據(jù)挖掘方法，主要是對(duì)超多數(shù)據(jù)之間關(guān)聯(lián)問(wèn)題的發(fā)現(xiàn)和分析，在找到數(shù)據(jù)聯(lián)系之后決定哪些事件能夠一齊發(fā)生。數(shù)據(jù)庫(kù)中的關(guān)聯(lián)規(guī)則描述如下所示：假設(shè)I＝｛i1、i2......im｝是由m個(gè)不同項(xiàng)目組合構(gòu)成的集合，項(xiàng)的集合是項(xiàng)集，包括k個(gè)項(xiàng)集，給定事務(wù)D（交易數(shù)據(jù)庫(kù)），事務(wù)（交易）T從屬于數(shù)據(jù)項(xiàng)（I），T是唯一的標(biāo)示符。在X屬于T的時(shí)候，交易T則是包含項(xiàng)集X，關(guān)聯(lián)規(guī)則X＝Y(jié)在交易數(shù)據(jù)庫(kù)中成立。
2電力調(diào)度自動(dòng)化系統(tǒng)概述
2.1內(nèi)涵
電力調(diào)度自動(dòng)化系統(tǒng)能夠?yàn)殡娋W(wǎng)系統(tǒng)安全、穩(wěn)定運(yùn)行帶給重要支持，并為相關(guān)電力人員工作、決策帶給有力信息的支持。電力調(diào)度自動(dòng)化系統(tǒng)的組成如下所示：第一，前置機(jī)。前置機(jī)能夠從RTU從完成數(shù)據(jù)信息的收集整理工作，并能夠結(jié)合實(shí)際對(duì)系統(tǒng)的指令進(jìn)行接收、解釋。第二，主備用服務(wù)器。主備泳服務(wù)器包括數(shù)據(jù)庫(kù)和實(shí)時(shí)庫(kù)服務(wù)器，是電力調(diào)度系統(tǒng)的重要組成部件，能夠?qū)ο到y(tǒng)各個(gè)工作站的運(yùn)行進(jìn)行監(jiān)督。第三，網(wǎng)絡(luò)服務(wù)器。網(wǎng)絡(luò)服務(wù)器主要是對(duì)數(shù)據(jù)信息分布和數(shù)據(jù)表整理工作的監(jiān)督。第四，衛(wèi)星鐘。衛(wèi)星鐘系統(tǒng)將全球定位時(shí)間作為系統(tǒng)時(shí)間。第五，物理隔離開關(guān)。物理隔離開關(guān)能夠解決數(shù)據(jù)的隔離應(yīng)用問(wèn)題。
2.2電力調(diào)度自動(dòng)化系統(tǒng)對(duì)數(shù)據(jù)挖掘技術(shù)的需求
電力導(dǎo)調(diào)度自動(dòng)化系統(tǒng)對(duì)數(shù)據(jù)挖掘技術(shù)的需求具體表此刻以下幾個(gè)方面：第一，透過(guò)數(shù)據(jù)挖掘技術(shù)減少電力調(diào)度自動(dòng)化系統(tǒng)的工作時(shí)間，提高工作效率。第二，數(shù)據(jù)挖掘能夠提高數(shù)據(jù)挖掘技術(shù)的管理應(yīng)用水平，減少外界因素對(duì)電力調(diào)度自動(dòng)化的干擾。第三，能夠從不同角度對(duì)數(shù)據(jù)信息進(jìn)行定量、定性分析。第四，為電網(wǎng)報(bào)告的分析和制定帶給輔助支持。第五，實(shí)現(xiàn)了對(duì)數(shù)據(jù)信息的及時(shí)查詢，為電力調(diào)度自動(dòng)化工作帶給了支持。
3基于蟻群算法的周期性關(guān)聯(lián)規(guī)則數(shù)據(jù)挖掘
3.1周期關(guān)聯(lián)規(guī)則
周期性關(guān)聯(lián)規(guī)則挖掘是時(shí)態(tài)約束關(guān)聯(lián)規(guī)則的一種，適用于對(duì)周期性關(guān)聯(lián)的發(fā)現(xiàn)層面，比如每年夏季城市居民用電量的均值比其他季節(jié)高，城市居民周末用電量平均值比其他周末時(shí)間高等。
3.2蟻群算法
螞蟻的群體行為表現(xiàn)出一種信息正反饋現(xiàn)象，蟻群算法由轉(zhuǎn)移規(guī)則和信息素更新規(guī)則組成，具體能夠描述成：假設(shè)平面上有n個(gè)城市，n個(gè)城市的TSP問(wèn)題來(lái)找到n個(gè)城市的最短路徑。假設(shè)蟻群系統(tǒng)中螞蟻的數(shù)量是m、d（i，j=1，2，…，n），代表的是城市i到城市j之間的距離，b（t）表示t時(shí)刻位于城市i的螞蟻個(gè)數(shù)。在初始階段，各個(gè)線路上的信息量是對(duì)等的，假設(shè)τij（0）＝c，螞蟻k在運(yùn)動(dòng)的過(guò)程中根據(jù)信息量來(lái)選取下一步所走的方向，t時(shí)刻螞蟻k由城市i轉(zhuǎn)移到城市j的概率表示如（1）所示。
3.3基于蟻群算法的周期性關(guān)聯(lián)規(guī)則
假設(shè)T1、T2，Tmin為系統(tǒng)時(shí)間定義單位組成的時(shí)間表達(dá)式，都比零大，假設(shè)T1＜T2，差的絕對(duì)值比極小時(shí)間值的小，稱作T1在T2之前發(fā)生。如果T1＝T2，差的絕對(duì)值和極小時(shí)間值相等，則是說(shuō)明T1和T2同時(shí)發(fā)生。假設(shè)T1，T2是系統(tǒng)時(shí)間定義單位組成的時(shí)間表達(dá)式，都比零大，int＝［T1、T2］是T1到T2的時(shí)間隔�；谙伻核惴ǖ闹芷谛躁P(guān)聯(lián)規(guī)則操作首先需要對(duì)數(shù)據(jù)集進(jìn)行分類整理，在時(shí)間差表滿足數(shù)據(jù)庫(kù)要求的狀況下將數(shù)據(jù)集按照時(shí)間分成多個(gè)分塊，并按照時(shí)態(tài)屬性進(jìn)行升序排列，結(jié)合每個(gè)類別進(jìn)行周期性關(guān)聯(lián)規(guī)則挖掘，構(gòu)成多個(gè)數(shù)據(jù)集。其次，對(duì)各個(gè)分類數(shù)據(jù)集進(jìn)行周期性數(shù)據(jù)挖掘分析、改善。最后，對(duì)周期性數(shù)據(jù)集挖掘的改善。對(duì)數(shù)據(jù)信息進(jìn)行排列整理，如果兩個(gè)周期性序列相交，以周期小的為主，在數(shù)據(jù)的時(shí)間跨度內(nèi)對(duì)數(shù)據(jù)的子集進(jìn)行截取。
4數(shù)據(jù)挖掘在電力調(diào)度自動(dòng)化系統(tǒng)中的應(yīng)用
4.1基于周期性關(guān)聯(lián)規(guī)則挖掘的數(shù)據(jù)分析系統(tǒng)平臺(tái)
在社會(huì)經(jīng)濟(jì)的發(fā)展下，電力調(diào)度自動(dòng)化系統(tǒng)從原先的實(shí)時(shí)性監(jiān)控報(bào)表查詢系統(tǒng)轉(zhuǎn)變?yōu)橹悄苷{(diào)度自動(dòng)化系統(tǒng)，高級(jí)應(yīng)用軟件的應(yīng)用促進(jìn)了電力調(diào)度系統(tǒng)朝著智能化的方向發(fā)展�；谥芷谛躁P(guān)聯(lián)規(guī)則挖掘的數(shù)據(jù)分析系統(tǒng)平臺(tái)選取微軟的平臺(tái)，在該平臺(tái)的支持下為電力調(diào)度系統(tǒng)運(yùn)行帶給了豐富數(shù)據(jù)資源的支持，且具備強(qiáng)大的數(shù)據(jù)庫(kù)訪問(wèn)潛力。
4.2基于數(shù)據(jù)橋的數(shù)據(jù)集成模塊設(shè)計(jì)
在電力調(diào)度自動(dòng)化系統(tǒng)的應(yīng)用中存在多個(gè)標(biāo)準(zhǔn)，這些標(biāo)準(zhǔn)對(duì)分布式電力系統(tǒng)發(fā)展起到了重要作用，但是在各個(gè)數(shù)據(jù)集成規(guī)約不同的影響下，電力企業(yè)發(fā)展容易出現(xiàn)信息混亂的現(xiàn)象。為了避免這種現(xiàn)象的發(fā)生，在數(shù)據(jù)集成模塊中需要進(jìn)行數(shù)據(jù)清洗操作。
4.3數(shù)據(jù)分析功能模塊設(shè)計(jì)
第一，同期數(shù)據(jù)分析模塊。同期數(shù)據(jù)分析模塊一般被人們用在調(diào)度自動(dòng)化數(shù)據(jù)系統(tǒng)的橫縱向比較，透過(guò)對(duì)同期數(shù)據(jù)的比對(duì)分析能夠?yàn)殡娏φ{(diào)度系統(tǒng)數(shù)據(jù)評(píng)估帶給更多便利。同期比較分析模塊應(yīng)用了動(dòng)態(tài)生成查詢語(yǔ)句，能夠?qū)?shù)據(jù)信息進(jìn)行動(dòng)態(tài)化的查詢和分析整理。第二，周期性數(shù)據(jù)分析。周期性數(shù)據(jù)分析主要是在數(shù)據(jù)庫(kù)系統(tǒng)中挖掘具有周期性特點(diǎn)的數(shù)據(jù)集，從而對(duì)數(shù)據(jù)波動(dòng)狀況進(jìn)行清晰的反應(yīng)。在周期性數(shù)據(jù)分析模塊挖掘算法中存在一個(gè)最小時(shí)間的誤差參數(shù)，這參數(shù)是周期數(shù)據(jù)集的基礎(chǔ)數(shù)據(jù)，影響周期性數(shù)據(jù)分析的精確度。第三，數(shù)據(jù)預(yù)警分析。數(shù)據(jù)預(yù)警主要是結(jié)合現(xiàn)有的調(diào)度自動(dòng)化系統(tǒng)報(bào)警信息和數(shù)據(jù)挖掘周期數(shù)據(jù)集來(lái)對(duì)關(guān)聯(lián)數(shù)據(jù)進(jìn)行分析，數(shù)據(jù)分析系統(tǒng)采取了有限權(quán)值分配的方法，預(yù)警列表按照預(yù)警信息的大小進(jìn)行有序排列，具體包含報(bào)警周期性數(shù)據(jù)集、預(yù)警信息周期性數(shù)據(jù)集大小、預(yù)警模式等資料。
5結(jié)束語(yǔ)
綜上所述，文章在闡述數(shù)據(jù)挖掘內(nèi)涵和電力調(diào)度自動(dòng)化系統(tǒng)內(nèi)涵的基礎(chǔ)上研究了周期性關(guān)聯(lián)規(guī)則的數(shù)據(jù)挖掘算法知識(shí)，并將其應(yīng)用到電力調(diào)度自動(dòng)化系統(tǒng)中，取得了良好的效果。周期性關(guān)聯(lián)規(guī)則算法是數(shù)據(jù)挖掘技術(shù)的主流發(fā)展方向，在從歷史數(shù)據(jù)中尋找規(guī)律的同時(shí)能夠?yàn)殡娏φ{(diào)度自動(dòng)化系統(tǒng)運(yùn)行帶給支持，需要引起相關(guān)人員的重視。
參考文獻(xiàn)：
[1]肖福明.淺析數(shù)據(jù)挖掘在電力調(diào)度自動(dòng)化系統(tǒng)中的應(yīng)用[J].通訊世界，2014（17）：58-59.
[2]李陽(yáng).數(shù)據(jù)挖掘在電力調(diào)度自動(dòng)化系統(tǒng)中的應(yīng)用[D].華北電力大學(xué)（河北），2009.
[3]朱維佳，曹堅(jiān).電力調(diào)度自動(dòng)化系統(tǒng)中數(shù)據(jù)挖掘技術(shù)的應(yīng)用[J].電氣時(shí)代，2015（07）：108-111.
[4]于存水.基于智能電網(wǎng)調(diào)度系統(tǒng)的調(diào)度監(jiān)控平臺(tái)的設(shè)計(jì)與實(shí)現(xiàn)[D].吉林大學(xué)，2013.
[5]李艷.關(guān)于數(shù)據(jù)挖掘中關(guān)聯(lián)規(guī)則算法的相關(guān)問(wèn)題研究[J].科技創(chuàng)新與應(yīng)用，2017(33):161+163.
【數(shù)據(jù)挖掘論文】相關(guān)文章：
數(shù)據(jù)挖掘工程師的崗位職責(zé)02-23
數(shù)據(jù)挖掘工程師工作的崗位職責(zé)03-15
數(shù)據(jù)挖掘工程師崗位職責(zé)15篇06-04
數(shù)據(jù)挖掘工程師崗位職責(zé)(15篇)06-04
數(shù)據(jù)挖掘工程師的崗位職責(zé)15篇02-23