基于Hadoop的分布式社區(qū)教育學(xué)習(xí)云平臺的設(shè)計(jì)
發(fā)布時(shí)間:2019-08-09 來源: 歷史回眸 點(diǎn)擊:
[摘 要]文章闡述了基于社區(qū)教育的學(xué)習(xí)云平臺系統(tǒng)的設(shè)計(jì),是實(shí)踐開展社區(qū)教育的有效嘗試。首先通過分析社區(qū)教育對學(xué)習(xí)云平臺的應(yīng)用需求,結(jié)合云計(jì)算 Hadoop 平臺技術(shù),采用 B/S 架構(gòu),融合 HDFS 和 MySQL 數(shù)據(jù)庫,設(shè)計(jì)出分布式的基于云計(jì)算的學(xué)習(xí)、教育平臺。
[關(guān)鍵詞]Hadoop ;云計(jì)算;分布式;學(xué)習(xí)平臺
[中圖分類號]G434 [文獻(xiàn)標(biāo)識碼]A [文章編號]1008-7656(2017)06-0041-04
一、Hadoop及相關(guān)技術(shù)介紹
(一)云計(jì)算及其特點(diǎn)
云計(jì)算是基于 Internet 技術(shù)通過服務(wù)的方式提供虛擬化資源的計(jì)算模式,能夠整合網(wǎng)絡(luò)中多種類型的資源共同提供數(shù)據(jù)存儲和訪問功能。云計(jì)算主要分為軟件即服務(wù)(SaaS),平臺即服務(wù)(PaaS),基礎(chǔ)架構(gòu)即服務(wù)(IaaS)三種服務(wù)模式。
云計(jì)算的主要特點(diǎn)為:設(shè)備利用率高,云計(jì)算整合計(jì)算資源對用戶開放,提高了主機(jī)的運(yùn)行和使用效率;可靠性高,云計(jì)算用戶的數(shù)據(jù)存儲在云端,數(shù)據(jù)由集群的節(jié)點(diǎn)保存,數(shù)據(jù)冗余通過集群來處理,以此來保證數(shù)據(jù)讀取的穩(wěn)定性;運(yùn)行成本低,擴(kuò)展性強(qiáng)[1]。
(二)Hadoop簡介
Hadoop 是由 Apache 開發(fā)的一個(gè)開源的分布式云計(jì)算平臺, Hadoop 的核心是分布式文件系統(tǒng) HDFS、分布式平行計(jì)算框架MapReduce 和分布式數(shù)據(jù) HBase, Hadoop平臺為用戶提供大量透明的服務(wù),使得用戶可以輕松利用 Hadoop 整個(gè)計(jì)算資源來搭建起自己的云計(jì)算平臺。 Hadoop 具有的優(yōu)勢為:高性能, Hadoop 的處理對象可以使數(shù)量級在 PB 以上的非結(jié)構(gòu)化數(shù)據(jù),得到的結(jié)構(gòu)能夠以通用的形式提供給用戶;可拓展性, Hadoop 的會(huì)隨著集群規(guī)模的增加,計(jì)算能力也會(huì)不斷增強(qiáng), Hadoop 可以拓展到上萬臺服務(wù)器節(jié)點(diǎn)來完成數(shù)據(jù)的存儲和計(jì)算,有利于系統(tǒng)的后續(xù)完善。
二、基于Hadoop的分布式學(xué)習(xí)云平臺需求分析 Hadoop 平臺的設(shè)計(jì)基于兼容共享原則和開放原則,設(shè)計(jì)的主要內(nèi)容包括系統(tǒng)的整體結(jié)構(gòu)設(shè)計(jì)和依據(jù)系統(tǒng)的結(jié)構(gòu)設(shè)計(jì)。通過對文獻(xiàn)調(diào)研,師生訪問,確定云教學(xué)和自主學(xué)習(xí)平臺需求分析。
通過云計(jì)算技術(shù)對柳州市社區(qū)數(shù)字化學(xué)習(xí)資源進(jìn)行開發(fā)和應(yīng)用推廣,實(shí)現(xiàn)社區(qū)分布式的網(wǎng)絡(luò)化學(xué)習(xí),使用者能夠無縫訪問云服務(wù)學(xué)習(xí)資源的各種應(yīng)用,并保證系統(tǒng)安全、穩(wěn)定運(yùn)行。需求分析如下。
。1)依托柳州市城市職業(yè)學(xué)院,實(shí)現(xiàn)柳州市社區(qū)數(shù)字化學(xué)習(xí)資源云平臺的建設(shè),建立面向社區(qū)終身學(xué)習(xí)的“私有云”服務(wù)中心,整合電大、職校、培訓(xùn)機(jī)構(gòu)的學(xué)習(xí)資源實(shí)現(xiàn)提供服務(wù)的后臺數(shù)據(jù)云。
(2)開發(fā)SOA架構(gòu)模式的學(xué)習(xí)資源管理信息系統(tǒng),實(shí)現(xiàn)系統(tǒng)管理、知識管理、動(dòng)態(tài)學(xué)習(xí)跟蹤處理等功能。
(3)面向柳州市城市職業(yè)學(xué)院地理布局上分散的特點(diǎn),設(shè)計(jì)分布式的平臺技術(shù)架構(gòu),滿足學(xué)生的分布式學(xué)習(xí)需求,借助平臺學(xué)生能夠異地查看和使用學(xué)習(xí)資源,實(shí)現(xiàn)學(xué)生和教師的互動(dòng),從平臺上獲取學(xué)習(xí)資源。滿足教師使用需求,教師能夠通過學(xué)習(xí)平臺查看和修改教師的信息,實(shí)現(xiàn)師生交流互動(dòng),借助平臺發(fā)布信息和學(xué)習(xí)資料,獲取和分發(fā)學(xué)習(xí)資源。
。4)實(shí)現(xiàn)整個(gè)系統(tǒng)的硬件安全、數(shù)據(jù)安全、網(wǎng)絡(luò)安全、系統(tǒng)安全。
(5)課題研究與將與中國移動(dòng)、電信等運(yùn)營商合作,邀請他們參與建設(shè)社區(qū)數(shù)字化教育云服務(wù)資源中心的建設(shè),由他們投入網(wǎng)絡(luò)的線路的租用、移動(dòng)通信設(shè)備建設(shè)的費(fèi)用,計(jì)劃二年內(nèi)投入試運(yùn)行。
三、基于Hadoop的分布式學(xué)習(xí)云平臺的設(shè)計(jì)
云平臺的設(shè)計(jì)按照系統(tǒng)的職責(zé)劃分主要可以分為文件系統(tǒng),數(shù)據(jù)訪問系統(tǒng)和 Web 控制系統(tǒng)三部分。
基于基于Hadoop的分布式學(xué)習(xí)云平臺體系架構(gòu)模型,系統(tǒng)體系架構(gòu)模型分為三級: 第一級是服務(wù)請求及操作(serviceclent); 第二級是基礎(chǔ)架構(gòu)和服務(wù)應(yīng)用容器(Web service)提供; 第三級是數(shù)據(jù)創(chuàng)建、數(shù)據(jù)訪問及存儲。其中核心部分是第二級。通常云計(jì)算劃分為IaaS、PaaS及SaaS三層。其中底層(IaaS)的物理資源主要包括服務(wù)提供者所提供的網(wǎng)絡(luò)資源、服務(wù)器資源、數(shù)據(jù)庫資源及軟件資源等。而虛擬資源池則是通過不同的技術(shù)將相同類型的資源構(gòu)成同構(gòu)或接近同構(gòu)的虛擬資源池。例如, 使用虛擬化軟件VMWARE分別在兩臺基于Power架構(gòu)的高端服務(wù)器上虛擬出20臺虛擬機(jī), 動(dòng)態(tài)分配相應(yīng)的虛擬CPU、內(nèi)存、硬盤、I /O 設(shè)備及網(wǎng)絡(luò)資源,分別在這些虛擬機(jī)上部署一套虛擬的硬件環(huán)境、不同的操作系統(tǒng)、數(shù)據(jù)庫及其他相應(yīng)的應(yīng)用程序, 進(jìn)而在這兩臺服務(wù)器上虛擬出來的40臺服務(wù)器組建成一個(gè)虛擬資源池,從而在這個(gè)小型的數(shù)據(jù)中心中設(shè)計(jì)實(shí)施虛擬化和構(gòu)建云計(jì)算環(huán)境[2]。
基于Hadoop的分布式學(xué)習(xí)云平臺屬于中間層,也就是PaaS層,則主要負(fù)責(zé)對云計(jì)算的學(xué)習(xí)資源進(jìn)行管理, 并對眾多的訪問管理進(jìn)行負(fù)載均衡優(yōu)化、調(diào)度, 從而為上一層(SaaS)的應(yīng)用提供可靠安全的服務(wù)。通過分布式的基于多租戶技術(shù)的管理服務(wù)主要是通過將相應(yīng)的業(yè)務(wù)封裝成標(biāo)準(zhǔn)的Web Service服務(wù), 使得任何一個(gè)用戶能夠按照自己的需求對服務(wù)進(jìn)行定制,多層結(jié)構(gòu)的軟件架構(gòu)設(shè)計(jì)使得系統(tǒng)具有很大靈活性,不同的種類的SaaS接入以及對SaaS 軟件進(jìn)行個(gè)性化配置不影響其他用戶的使用, 其基本特征有兩點(diǎn): 一是能夠服務(wù)于大量的用戶并針對每個(gè)用戶的使用需求,具備很強(qiáng)的可伸縮性;二是能夠按照要求提供附加的業(yè)務(wù)邏輯,使得用戶能夠?qū)aaS應(yīng)用本身進(jìn)行擴(kuò)展, 從而滿足用戶對硬件資源、軟件資源的更大需求。
(一)功能模塊及其說明
項(xiàng)目由7個(gè)模塊構(gòu)成(見表1),其中:
。1)AppworksCommon模塊提供了一些基礎(chǔ)的公共設(shè)施,如日志記錄器、配置文件、加密工具、JSON工具等,以及在云存儲業(yè)務(wù)中所需的一些基礎(chǔ)實(shí)體類。
相關(guān)熱詞搜索:分布式 教育學(xué) 設(shè)計(jì) 平臺 社區(qū)
熱點(diǎn)文章閱讀