[摘要]Information Studies Taxonomy瀏覽類表的用戶評(píng)估采用定性和終端用戶介入的方法。評(píng)估方案包括真實(shí)環(huán)境下的瀏覽練習(xí)和用戶訪談兩道程序。瀏覽練習(xí)題目從終端用戶中征集而來(lái)，并覆蓋類表的所有分面和主題分面中的全部基本大類。瀏覽練習(xí)的具體操作盡量保證客觀公正的評(píng)估結(jié)果。用戶訪談圍繞類表各個(gè)組成部分對(duì)瀏覽功能的支持而展開(kāi)。瀏覽練習(xí)過(guò)程與用戶訪談都有相應(yīng)的軟件進(jìn)行錄制。瀏覽類表評(píng)估的理論與實(shí)際例子在文獻(xiàn)中鮮見(jiàn)，本項(xiàng)目采用的評(píng)估方法與設(shè)計(jì)思路可供借鑒。
　　[關(guān)鍵詞]瀏覽類表　用戶評(píng)估　瀏覽練習(xí)
　　[分類號(hào)]G254.1 G354
　　
　　1　引言
　　
　　類表的用戶評(píng)估對(duì)于一個(gè)瀏覽系統(tǒng)是至為重要的，它的重要性不亞于類表本身的編制。從瀏覽系統(tǒng)的功能來(lái)看，瀏覽類表是直接面向終端用戶的，它需要通過(guò)評(píng)估行為來(lái)有效地結(jié)合用戶的需求與愛(ài)好，以確保類表的實(shí)用性。從編制工作角度來(lái)看，評(píng)估可以保證類表的基本質(zhì)量，以避免類表系統(tǒng)安裝以后發(fā)生大的修改，造成人力、物力資源的浪費(fèi)。
　　瀏覽類表的評(píng)估主要有兩個(gè)不同的目的，一個(gè)是衡量類表的資源標(biāo)引能力；另一個(gè)是評(píng)估類表的瀏覽效果。相對(duì)于敘詞表的成熟發(fā)展，瀏覽類表的評(píng)估目前還沒(méi)有形成一個(gè)公眾認(rèn)可的標(biāo)準(zhǔn)與方法，各個(gè)評(píng)估項(xiàng)目也都是根據(jù)各自的評(píng)估目的采取相應(yīng)的辦法。類表的資源標(biāo)引評(píng)估多采用定量方法，也就是選用一定數(shù)量、有代表性的資源文獻(xiàn)，用類表對(duì)資源進(jìn)行實(shí)際標(biāo)引。標(biāo)引結(jié)果的評(píng)判可以有兩個(gè)方法，一個(gè)是事先準(zhǔn)備標(biāo)準(zhǔn)答案，與標(biāo)準(zhǔn)答案不符的就意味著類表相關(guān)部分可能有缺陷(在保證標(biāo)引結(jié)果準(zhǔn)確的前提下)；二是由多個(gè)標(biāo)引員對(duì)資源進(jìn)行標(biāo)引，根據(jù)標(biāo)引員提供的標(biāo)引結(jié)果的一致性程度來(lái)找出類表的問(wèn)題所在。Currier用的是前者，評(píng)估小組成員為5個(gè)參加者各自要分類的14條數(shù)據(jù)準(zhǔn)備了標(biāo)準(zhǔn)答案。Hawkins，Larson和Caton采納了后者，他們?nèi)齻�(gè)人分別標(biāo)引了3 000條數(shù)據(jù)，然后根據(jù)標(biāo)引數(shù)據(jù)的一致性對(duì)類表進(jìn)行了兩次修改與完善。瀏覽類表評(píng)估的實(shí)際例子很鮮見(jiàn)，從理論上來(lái)說(shuō)，由于瀏覽行為的復(fù)雜性，一般多推薦采用定性方法。Conway和SligarTM建議用客觀標(biāo)準(zhǔn)如查全率、查準(zhǔn)率來(lái)衡量檢索功能，而用定性方法來(lái)評(píng)估瀏覽功能，他們提出采用真實(shí)語(yǔ)境下的用戶檢索測(cè)試。Lambe持有類似觀點(diǎn)，他也主張采用真實(shí)環(huán)境下的、有代表性的用戶檢索行為來(lái)評(píng)估瀏覽功能。Currier在采用定量方法的同時(shí)，鑒于標(biāo)引數(shù)據(jù)的量不夠大，也結(jié)合了用戶訪談的定性方法，五個(gè)參加者在分類練習(xí)結(jié)束以后接受了對(duì)類表反饋與建議的訪談。
　　本文論述的Information Studies Taxonomy是為南洋理工大學(xué)傳播與信息學(xué)院信息學(xué)系量身定做的一個(gè)瀏覽類表。它為信息學(xué)系的老師、學(xué)生的教學(xué)科研活動(dòng)提供一站式的信息查詢服務(wù)。類表由多個(gè)分面組成，其中主題分面的編制以杜威十進(jìn)制分類法、ASIS&T、LISA兩部圖書(shū)館學(xué)情報(bào)學(xué)敘詞表和ERIC教育敘詞表為結(jié)構(gòu)庫(kù)和詞庫(kù)。類表在編制過(guò)程已數(shù)次征求過(guò)用戶的意見(jiàn)。本文詳細(xì)論述類表編制完成后正式進(jìn)行的一次用戶評(píng)估，該類表的評(píng)估方法既參考了已有的研究成果和實(shí)際例子，也結(jié)合了本身的評(píng)估需要。用戶評(píng)估取得了不菲的效果，類表因此有了一次較大的改善。
　　
　　2　評(píng)估方法
　　
　　Information Studies Taxonomy類表評(píng)估的主要目的是了解類表通過(guò)瀏覽功能對(duì)用戶教學(xué)科研活動(dòng)的支持能力，并收集用戶對(duì)類表的具體意見(jiàn)以進(jìn)行修改與完善。類表評(píng)估方法的設(shè)計(jì)體現(xiàn)了評(píng)估目的。評(píng)估方法由兩道程序組成：第一道是真實(shí)環(huán)境下、與用戶教學(xué)科研活動(dòng)密切相關(guān)的瀏覽練習(xí)，用戶為手頭的瀏覽練習(xí)題目從安裝在計(jì)算機(jī)上的類表中找出相應(yīng)的瀏覽路徑。該方法不僅直觀，而且客觀地收集了類表支持瀏覽功能的具體數(shù)據(jù)；第二道程序是瀏覽練習(xí)之后的用戶訪談。該方法收集了用戶對(duì)瀏覽練習(xí)中涉及到的類表部分的具體反饋和意見(jiàn)。用戶在完成瀏覽練習(xí)之后對(duì)類表有了一定程度的感性認(rèn)識(shí)，也就會(huì)有一些想法和要求，訪談提供了一個(gè)暢所欲言的機(jī)會(huì)，可以收集到中肯的意見(jiàn)和建議。
　　
　　2.1　評(píng)估參加者
　　評(píng)估參加者要求具有用戶代表性，一共有22位學(xué)生和老師參加了此次評(píng)估活動(dòng)。這22位參加者來(lái)自信息學(xué)系作為一個(gè)研究生學(xué)院的五個(gè)用戶群體，他們分別是三個(gè)不同專業(yè)的碩士生、博士生和老師用戶群體。碩士生參加者包括不同年級(jí)的老生和新生，博士生和老師參加者代表了不同的研究方向。這些參加者是在被邀請(qǐng)之后志愿參加的。按照定性方法的一般原則，每個(gè)小組群體至少要有3位代表，22位評(píng)估參加者中有12位碩士生分別來(lái)自三個(gè)不同的培養(yǎng)方向，另外還有4位老師和6位博士生。
　　
　　2.2 瀏覽練習(xí)
　　2.2.1 瀏覽練習(xí)試題　該評(píng)估為參加者設(shè)計(jì)了相應(yīng)的22份瀏覽練習(xí)試題。瀏覽練習(xí)試題的設(shè)計(jì)除了要考慮用戶人數(shù)外，還需要考慮用戶的專業(yè)背景和做題的疲勞強(qiáng)度。為避免用戶過(guò)于疲勞而草率地給出答案，每份試題包括兩個(gè)大題和5―9個(gè)不等小題。同時(shí)，試題中的兩個(gè)大題盡量與參加者的專業(yè)背景相吻合，也就是說(shuō)，該次評(píng)估為五組參加者設(shè)計(jì)了五套試題，分別包括4、4、4、4和6份題目，為保證評(píng)估結(jié)果的公正性，每份題目至少由兩個(gè)用戶完成，也就是說(shuō)，這5套22份試題實(shí)際包括11個(gè)大題，每?jī)煞菰囶}中有兩個(gè)同樣的、次序相反的大題。
　　類似于一般試題的設(shè)計(jì)，瀏覽練習(xí)試題包括兩個(gè)部分的內(nèi)容，第一部分是練習(xí)背景與要求的文字介紹；第二部分是具體的題目。題目部分先描述語(yǔ)境，比如信息需求者的身份、要完成的任務(wù)和目的，然后是具體的信息需求，包括信息需求涉及的主題和資源類型。這些信息需求將通過(guò)瀏覽類表來(lái)得以實(shí)現(xiàn)。圖1給出了一個(gè)瀏覽練習(xí)試題例子：
　　
　　2.2.2　瀏覽練習(xí)題目　22份瀏覽練習(xí)試題中的11個(gè)大題、69個(gè)小題與類表的宗旨是一致的，它們與教師、學(xué)生的教學(xué)科研活動(dòng)密切相關(guān)。這些題目全部來(lái)自用戶的真實(shí)信息需求，從17位學(xué)生與老師一學(xué)期的教學(xué)科研活動(dòng)中征集而來(lái)。同樣地，這17位學(xué)生與老師來(lái)自上文提到的5組用戶群體，每組用戶至少有3位代表，其中博士生代表有5位，14位碩士生參加者貫穿了不同的學(xué)習(xí)年級(jí)。練習(xí)題目的征集采用了個(gè)人訪談的方式，訪談收集了具體的信息需求，還包括信息需求前后的故事，也就是語(yǔ)境。
　　練習(xí)題目的挑選考慮了多個(gè)因素，一是數(shù)量的保障；二是題目要求盡量能貫穿類表所有的子類，尤其是在編制中不太自信的類表部分；三是題目的難易程度，盡量做到難、中、易結(jié)合，以求得一個(gè)較為客觀的評(píng)估結(jié)果。22份瀏覽練習(xí)試題中的11個(gè)大題、69個(gè)小題覆蓋了類表體系中的所有的分面和主題分面中的所有基本大類。具體地說(shuō)，每個(gè)題目涉及至少來(lái)自兩個(gè)分面的瀏覽路徑，69個(gè)題目涉及了主題分面中總共57條 瀏覽路徑。在設(shè)計(jì)瀏覽練習(xí)題目的同時(shí)，也準(zhǔn)備了答案。答案的準(zhǔn)備不僅包括正確的答案，也包括用戶可能產(chǎn)生的各種錯(cuò)誤答案和原因，這其實(shí)也是一個(gè)對(duì)類表斟酌、修改的過(guò)程。
　　2.2.3 用戶界面 類表的安裝考慮了瀏覽練習(xí)結(jié)果的客觀性。一家澳大利亞公司生產(chǎn)的TLE―Equeua被選為支持軟件。該軟件的好處是不允許用戶在一個(gè)網(wǎng)頁(yè)上看到全部的類表結(jié)構(gòu)，如圖2所示，參加者必須點(diǎn)擊到下一頁(yè)才能看到下位類目，這樣可有利于得到公、正的瀏覽練習(xí)答案。同時(shí)，為了避免內(nèi)容本身對(duì)瀏覽路徑選擇的影響，沒(méi)有任何資源鏈接到類表，參加者所能接觸到的就是類表本身。
　　
　　2.2.4　瀏覽練習(xí)操作程序　瀏覽練習(xí)的操作盡可能地保證客觀的評(píng)估結(jié)果。在操作上，按單人依次進(jìn)行，在一個(gè)全程監(jiān)控、無(wú)干擾的單人計(jì)算機(jī)房進(jìn)行，每天上、下午各一個(gè)，總共持續(xù)了11天。在人文環(huán)境方面，制造輕松、愉快的環(huán)境，參加者可從與其專業(yè)背景相關(guān)的試題中任選一份，并有充分的時(shí)間閱讀試題、適應(yīng)房間環(huán)境和熟悉計(jì)算機(jī)的使用。相關(guān)信息也適時(shí)地傳遞給參加者，如瀏覽練習(xí)的背景情況、試題的說(shuō)明、瀏覽路徑的含義、網(wǎng)頁(yè)的點(diǎn)擊與翻頁(yè)等等。同時(shí)重要的一點(diǎn)是，為了給參加者一個(gè)寬松的心情并收集到全面的瀏覽練習(xí)結(jié)果，特意對(duì)參加者強(qiáng)調(diào)試題不局限于一個(gè)單一的正確答案，他們可選出任何他們個(gè)人覺(jué)得可以滿足題目信息需求的瀏覽路徑，既不受數(shù)量的限制，也不受題目的限制。但在正式開(kāi)始練習(xí)以前，參加者不允許瀏覽類表結(jié)構(gòu)。參加者在做題過(guò)程中，可提問(wèn)與答案無(wú)關(guān)的問(wèn)題，如題目的進(jìn)一步解釋等，也可尋求計(jì)算機(jī)使用方面的幫助；他們也可隨意地發(fā)表意見(jiàn)與看法。
　　
　　2.3　用戶訪談
　　用戶個(gè)人訪談在瀏覽練習(xí)結(jié)束后即時(shí)進(jìn)行，訪談?dòng)?0個(gè)問(wèn)題引導(dǎo)。這10個(gè)問(wèn)題根據(jù)類表特征和評(píng)估目的而設(shè)計(jì)。前6個(gè)問(wèn)題是關(guān)于類表分面、等級(jí)結(jié)構(gòu)和類名支持瀏覽功能的合適性。如前所述，由于目前關(guān)于瀏覽類表的評(píng)估還沒(méi)有一個(gè)得到認(rèn)可的標(biāo)準(zhǔn)可參照，前6個(gè)問(wèn)題是根據(jù)從文獻(xiàn)調(diào)研中總結(jié)出的瀏覽類表的基本特征而設(shè)計(jì)，這6個(gè)問(wèn)題具體包括類表分面的選擇、分面的名稱、類目結(jié)構(gòu)的邏輯性、類目深度的合適性、類目概念收集的完整性、以及類目名稱六個(gè)方面。后4個(gè)問(wèn)題是關(guān)于其它方面的，如對(duì)類表的印象總分、類表能否支持教學(xué)科研活動(dòng)、對(duì)瀏覽行為的感受，以及一般性的意見(jiàn)與建議。
　　用戶訪談力求一個(gè)良好的溝通過(guò)程并收集到有深度的數(shù)據(jù)。用戶訪談采取了循序漸進(jìn)的過(guò)程，先從與瀏覽練習(xí)有關(guān)的一般性問(wèn)題人手，比如對(duì)瀏覽練習(xí)的感受、遇到的困難等，然后逐漸進(jìn)入主題。在采訪中，根據(jù)被訪者的反饋對(duì)一些問(wèn)題進(jìn)行深入探討。在語(yǔ)言的溝通上，盡量避免專業(yè)術(shù)語(yǔ)，根據(jù)被訪者的反應(yīng)適應(yīng)地增加一些解釋與重述。
　　
　　2.4　操作時(shí)間控制及數(shù)據(jù)收集工具
　　如前所述，瀏覽練習(xí)題目和用戶訪談問(wèn)題數(shù)量的設(shè)計(jì)都考慮到了用戶的疲勞強(qiáng)度，以避免參加者過(guò)于疲勞而得到不客觀的評(píng)估結(jié)果。兩項(xiàng)評(píng)估工作都期望控制在半個(gè)小時(shí)以內(nèi)完成，也就是說(shuō)，評(píng)估的總共實(shí)施時(shí)間不超過(guò)一個(gè)小時(shí)。但在實(shí)際運(yùn)作中，實(shí)施時(shí)間根據(jù)用戶狀態(tài)和需要而定，用戶反應(yīng)積極的，時(shí)間就稍長(zhǎng)一些。
　　數(shù)據(jù)收集工具的選擇保證實(shí)用和方便。參加者的瀏覽練習(xí)計(jì)算機(jī)屏幕行為用Morae軟件錄制。Morae是個(gè)網(wǎng)絡(luò)版軟件，包括管理端和用戶端，支持研究者對(duì)終端用戶行為的遠(yuǎn)程管理，使用時(shí)需配套的攝像頭和聲音錄制工具。Morae軟件可將錄制下來(lái)的文件轉(zhuǎn)換成通用的影像文件，影像顯示包括屏幕右下端的用戶人像和鼠標(biāo)的屏幕移動(dòng)。除了監(jiān)控軟件以外，調(diào)查者也在旁邊觀察參加者的瀏覽行為，并適時(shí)地根據(jù)參加者的狀態(tài)進(jìn)行交流與討論，比如，在用戶無(wú)從下手或?yàn)殡y的時(shí)候，詢問(wèn)他們的困惑所在。Morae軟件也對(duì)現(xiàn)場(chǎng)談話進(jìn)行了錄音。用戶訪談則使用了常見(jiàn)的MP3錄音工具。
　　
　　3　評(píng)估結(jié)果
　　
　　3.1 總體評(píng)價(jià)
　　瀏覽練習(xí)的總體結(jié)果達(dá)到了中上，參加者可以輕易地駕馭類表中除主題分面以外的其它分面。22位參加者主題分面的瀏覽練習(xí)準(zhǔn)確率達(dá)到了70％。22位參加者提供了128個(gè)理想答案中的90個(gè)正確瀏覽路徑。參加者對(duì)類表的平均印象分是3.65分，最高分是4.5分，最低分是2.5分，大部分人都給了4分或4分以上。
　　絕大部分參加者對(duì)類表是持肯定態(tài)度的，認(rèn)為類表圍繞老師與學(xué)生的教學(xué)科研活動(dòng)、整合了各種信息資源類型；類表分面圍繞老師、學(xué)生的信息需求并提供了多個(gè)瀏覽選擇；類表結(jié)構(gòu)上下有邏輯地自然過(guò)渡；類表結(jié)構(gòu)控制在四級(jí)以內(nèi)、符合用戶瀏覽習(xí)慣；類名名稱清楚。參加者認(rèn)為類表的主要問(wèn)題在于分面名稱和基本大類的設(shè)計(jì)。有的分面名稱不夠直觀，在選擇分面時(shí)他們有時(shí)不得不進(jìn)行猜測(cè)，同時(shí)參加者建議增加一個(gè)分面以支持老師的教學(xué)工作�；�本大類的劃分不夠全面平衡，有的方面似乎忽略了，如信息來(lái)源；有的基本大類名稱過(guò)于傳統(tǒng)，如讀者服務(wù)，參加者建議用信息服務(wù)取代。
　　參加者對(duì)類表的實(shí)際應(yīng)用價(jià)值寄予了樂(lè)觀的期望，他們認(rèn)為它的實(shí)施應(yīng)該會(huì)大大提高師生的教學(xué)科研工作。對(duì)于非主題分面的瀏覽，如資源類型分面，參加者給予了高度的評(píng)價(jià)，他們認(rèn)為這些分面切合他們的學(xué)習(xí)、研究需要，可以幫助他們簡(jiǎn)單而快捷地獲取資源，而Coogle之類的搜索引擎和各種數(shù)據(jù)庫(kù)是無(wú)法提供如此有效的服務(wù)的。參加者對(duì)主題分面的瀏覽有褒有貶。一方面，他們認(rèn)為瀏覽可以讓他們學(xué)到新的知識(shí)比如一些詞匯和知識(shí)結(jié)構(gòu)，發(fā)掘出新的信息需求；但需要花費(fèi)更多的時(shí)間和精力，而且還需要相應(yīng)的背景知識(shí)，不如檢索來(lái)得快速和直接。大部分參加者表示寧愿使用搜索引擎，他們建議提供主題分面中的類目檢索以提高查詢速度，并增加分面組配檢索功能來(lái)提高整個(gè)類表系統(tǒng)的實(shí)際應(yīng)用價(jià)值。
　　此外，參加者對(duì)本次評(píng)估工作都表示欣賞，他們認(rèn)為評(píng)估方案構(gòu)思巧妙，評(píng)估活動(dòng)是一次非常有趣的體驗(yàn)過(guò)程，也讓他們學(xué)到了不少專業(yè)知識(shí)。
　　
　　3.2　具體建議與修改
　　用戶評(píng)估除了得到用戶對(duì)類表的總體肯定外，還收集了可觀的用戶對(duì)類表的具體修改意見(jiàn)。參加者根據(jù)瀏覽練習(xí)指出類目體系中不合適或者困惑之處，并給出了具體的、有建設(shè)性的意見(jiàn)。這些修改意見(jiàn)包括分面、基本大類的選擇與名稱、上下位類目的過(guò)渡，類目的匹配、類目名稱的含義、子類目的增、減與類名的完善等。參加者提供的瀏覽練習(xí)答案和屏幕瀏覽行為記錄分析也顯示了類目體系中的不合適之處。此外，用戶對(duì)類表的系統(tǒng)安裝也提出了建設(shè)性的意見(jiàn)，比如，在分面和基本大類下顯示三到五個(gè)子類目或加范圍注釋以幫助定位，建立不同分面和基本大類之間的橫向鏈接等。
　　類表根據(jù)用戶評(píng)估結(jié)果進(jìn)行了修改，修改涉及分面、基本大類、類目結(jié)構(gòu)和子類目。在分面方面，類表合并了兩個(gè)分面、分別增加和舍棄了一個(gè)分面，修改了四個(gè)分面的名稱；在基本大類方面，類表增加了一個(gè)基本大類，調(diào)整了兩個(gè)基本大類的子類，修改了四個(gè)基本大類的類名；在類目結(jié)構(gòu)方面，類表為新增的基本大類新建了兩個(gè)子類等級(jí)體系，合并了一個(gè)基本大類中的兩個(gè)子類，調(diào)整了一個(gè)子類的上下位類目，調(diào)整了一個(gè)子類和四個(gè)子類目的匹配位置，縮短了一個(gè)子類的等級(jí)層次，為10個(gè)子類目新建了在其它位置的參見(jiàn)。在子類目方面，類表增加了57個(gè)子類目包括新建子類中的子類目，舍棄了兩個(gè)子類目，修改了12個(gè)子類目的類名。
　　
　　4　類表概況
　　
　　Information Studies Taxonomy類表經(jīng)評(píng)估改善后由六個(gè)分面、十三個(gè)基本大類和530多個(gè)子類目組成。六個(gè)分面分別是課程資料、與研究項(xiàng)目有關(guān)的資料、參考工具書(shū)、教師教學(xué)資料、研究小組、和主題。主題分面的十三個(gè)基本大類分別是信息學(xué)科分支學(xué)科與相關(guān)領(lǐng)域、信息機(jī)構(gòu)、信息與知識(shí)管理、館藏管理與信息服務(wù)、信息與知識(shí)組織、信息來(lái)源與信息查詢、信息用戶研究與信息檢索系統(tǒng)、信息技術(shù)、信息社會(huì)、信息產(chǎn)業(yè)、信息行業(yè)、圖書(shū)館學(xué)情報(bào)學(xué)教育、研究方法與學(xué)術(shù)寫(xiě)作。
　　
　　5　結(jié)語(yǔ)
　　
　　從該次評(píng)估中，可感知瀏覽類表用戶評(píng)估的復(fù)雜性，即使方方面面的因素都考慮進(jìn)去了，僅一次的評(píng)估對(duì)建設(shè)一個(gè)真正面向終端用戶的瀏覽系統(tǒng)似乎是不夠的。同時(shí)，如前所述，瀏覽類表評(píng)估的實(shí)際例子很鮮見(jiàn)，該類表評(píng)估中體現(xiàn)的設(shè)計(jì)思路以及具體的方法可供借鑒。

相關(guān)熱詞搜索：評(píng)估 瀏覽 用戶 瀏覽類表的用戶評(píng)估 試用期評(píng)估表 網(wǎng)站評(píng)估表