軟件質量評估

軟件質量定義為：與軟件產品滿足需求所規定的和隱含的能力有關的特徵或特性的全體。具體包括：

（1） 軟件產品中所能滿足用户給定需求的全部特性的集合；

（2） 軟件具有所有的各種屬性組合的程度；

（3） 用户主觀得出的軟件是否滿足其綜合期望的程度；

（4） 決定所用軟件在使用中將滿足其綜合期望程度的合成特性。

如圖1所示，軟件質量框架是一個“質量特徵—質量子特徵—度量因子”的三層結構模型。

在這個框架模型中，上層是面向管理的質量特徵，每一個質量特徵是用以描述和評價軟件質量的一組屬性，代表軟件質量的一個方面。軟件質量不僅從該軟件外部表現出來的特徵來確定，而且必須從其內部所具有的特徵來確定。

第二層的質量子特徵是上層質量特徵的細化，一個特定的子特徵可以對應若干個質量特徵。軟件質量子特徵是管理人員和技術人員關於軟件質量問題的通訊渠道。

最下面一層是軟件質量度量因子（包括各種參數），用來度量質量特徵。定量化的度量因子可以直接測量或統計得到，為最終得到軟件質量子特徵值和特徵值提供依據。

按照軟件質量國家標準GB-T8566--2001G，軟件質量可以用下列特徵來評價：

a.功能特徵：與一組功能及其指定性質有關的一組屬性，這裏的功能是滿足明確或隱含的需求的那些功能。

b.可靠特徵：在規定的一段時間和條件下，與軟件維持其性能水平的能力有關的一組屬性。

c.易用特徵：由一組規定或潛在的用户為使用軟件所需作的努力和所作的評價有關的一組屬性。

d.效率特徵：與在規定條件下軟件的性能水平與所使用資源量之間關係有關的一組屬性。

e.可維護特徵：與進行指定的修改所需的努力有關的一組屬性。

f.可移植特徵：與軟件從一個環境轉移到另一個環境的能力有關的一組屬性。

其中每一個質量特徵都分別與若干子特徵相對應。

選擇合適的指標體系並使其量化是軟件測試與評估的關鍵。評估指標可以分為定性指標和定量指標兩種。理論上講，為了能夠科學客觀地反映軟件的質量特徵，應該儘量選擇定量指標。但是對於大多數軟件來説，並不是所有的質量特徵都可以用定量指標進行描述，所以不可避免地要採用一定的定性指標。

在選取評估指標時，應該把握如下原則：

a.針對性

即不同於一般軟件系統，能夠反映評估軟件的本質特徵，具體表現就是功能性與高可靠性。

b.可測性

即能夠定量表示，可以通過數學計算、平台測試、經驗統計等方法得到具體數據。

c.簡明性

即易於被各方理解和接受。

d.完備性

即選擇的指標應覆蓋分析目標所涉及的範圍。

e.客觀性

即客觀反映軟件本質特徵，不能因人而異。

應該注意的是，選擇的評估指標不是越多越好，關鍵在於指標在評估中所起的作用的大小。如果評估時指標太多，不僅增加結果的複雜性，有時甚至會影響評估的客觀性。指標的確定一般是採用自頂向下的方法，逐層分解，並且需要在動態過程中反覆綜合平衡。

通常，我們在軟件的測試與評估時，主要側重於功能特徵、可靠特徵、易用特徵和效率特徵等幾個方面。在評價活動的具體實施中，應該把被評估軟件的研製任務書作為主要依據，採用自頂向下逐層分解的方法，並參照有關國家軟件質量標準。

功能性是軟件最重要的質量特徵之一，可以細化成完備性和正確性。對軟件的功能性評價主要採用定性評價方法。

a.完備性

完備性是與軟件功能完整、齊全有關的軟件屬性。如果軟件實際完成的功能少於或不符合研製任務書所規定的明確或隱含的那些功能，則不能説該軟件的功能是完備的。

b.正確性

正確性是與能否得到正確或相符的結果或效果有關的軟件屬性。軟件的正確性在很大程度上與軟件模塊的工程模型（直接影響輔助計算的精度與輔助決策方案的優劣）和軟件編制人員的編程水平有關。

對這兩個子特徵的評價依據主要是軟件功能性測試的結果，評價標準則是軟件實際運行中所表現的功能與規定功能的符合程度。在軟件的研製任務書中，明確規定了該軟件應該完成的功能，如信息管理、提供輔助決策方案、輔助辦公和資源更新等。那麼即將進行驗收測試的軟件就應該具備這些明確或隱含的功能。

對於軟件的功能性測試主要針對每種功能設計若干典型測試用例，軟件測試過程中運行測試用例，然後將得到的結果與已知標準答案進行比較。所以，測試用例集的全面性、典型性和權威性是功能性評價的關鍵。

根據相關的軟件測試與評估要求，可靠性可以細化為成熟性、穩定性、易恢復性等。對於軟件的可靠性評價主要採用定量評價方法。即選擇合適的可靠性度量因子（可靠性參數），然後分析可靠性數據而得到參數具體值，最後進行評價。

經過對軟件可靠性細化分解並參照研製任務書，可以得到軟件的可靠性度量因子（可靠性參數）。

a.可用度

可用度指軟件運行後在任一隨機時刻需要執行規定任務或完成規定功能時，軟件處於可使用狀態的概率。可用度是對應用軟件可靠性的綜合（即綜合各種運行環境以及完成各種任務和功能）度量。

b.初期故障率

初期故障率指軟件在初期故障期（一般以軟件交付給用户後的三個月內為初期故障期）內單位時間的故障數。一般以每100小時的故障數為單位。可以用它來評價交付使用的軟件質量與預測什麼時候軟件可靠性基本穩定。初期故障率的大小取決於軟件設計水平、檢查項目數、軟件規模、軟件調試徹底與否等因素。

c.偶然故障率

指軟件在偶然故障期（一般以軟件交付給用户後的四個月以後為偶然故障期）內單位時間的故障數。一般以每1000小時的故障數為單位，它反映了軟件處於穩定狀態下的質量。

d.平均失效前時間（MTTF）

指軟件在失效前正常工作的平均統計時間。

e.平均失效間隔時間（MTBF）

指軟件在相繼兩次失效之間正常工作的平均統計時間。在實際使用時，MTBF通常是指當n很大時，系統第n次失效與第n+1次失效之間的平均統計時間。對於失效率為常數和系統恢復正常時間很短的情況下，MTBF與MTTF幾乎是相等的。

國外一般民用軟件的MTBF大體在1000小時左右。對於可靠性要求高的軟件，則要求在1000~10000小時之間。

f.缺陷密度（FD）

指軟件單位源代碼中隱藏的缺陷數量。通常以每千行無註解源代碼為一個單位。一般情況下，可以根據同類軟件系統的早期版本估計FD的具體值。如果沒有早期版本信息，也可以按照通常的統計結果來估計。“典型的統計表明，在開發階段，平均每千行源代碼有50~60個缺陷，交付後平均每千行源代碼有15~18個缺陷”。

g.平均失效恢復時間（MTTR）

指軟件失效後恢復正常工作所需的平均統計時間。對於軟件，其失效恢復時間為排除故障或系統重新啓動所用的時間，而不是對軟件本身進行修改的時間（因軟件已經固化在機器內，修改軟件勢必涉及重新固化問題，而這個過程的時間是無法確定的）。

易用性可以細化為易理解性、易學習性和易操作性等。這三個特徵主要是針對用户而言的。對軟件的易用性評價主要採用定性評價方法。

a.易理解性

易理解性是與用户認識軟件的邏輯概念及其應用範圍所花的努力有關的軟件屬性。該特徵要求軟件研製過程中形成的所有文檔語言簡練、前後一致、易於理解以及語句無歧義。

b.易學習性

易學習性是與用户為學習軟件應用（例如運行控制、輸入、輸出）所花的努力有關的軟件屬性。該特徵要求研製方提供的用户文檔（主要是《計算機系統操作員手冊》、《軟件用户手冊》和《軟件程序員手冊》）內容詳細、結構清晰以及語言準確。

c.易操作性

易操作性是與用户為操作和運行控制所花的努力有關的軟件屬性。該特徵要求軟件的人機界面友好、界面設計科學合理以及操作簡單等。

3.4 效率特徵指標

效率特徵可以細化成時間特徵和資源特徵。對軟件的效率特徵評價採用定量方法。

a.輸出結果更新週期

輸出結果更新週期是軟件相鄰兩次輸出結果的間隔時間。為了整個系統能夠協調工作，軟件的輸出結果更新週期應該與系統的信息更新週期相同。

b.處理時間

處理時間是軟件完成某項功能（輔助計算或輔助決策）所用的處理時間（注意：不應包含人機交互的時間）。

c.吞吐率

吞吐率是單位時間軟件的信息處理能力（即各種目標的處理批數）。未來的社會情況複雜、信息眾多，軟件必須具有處理海量數據的能力。吞吐率就是體現該能力的參數。隨着信息的泛濫，要求軟件的吞吐率應該達到數百批。

d.代碼規模

代碼規模是軟件源程序的行數（不包括註釋），屬於軟件的靜態屬性。軟件的代碼規模過大不僅要佔用過多的硬盤存儲空間，而且顯得程序不簡潔、結構不清晰，容易存在缺陷。

因為這些參數屬於軟件的內部表現，所以需要用專門的測試工具和特殊的途徑才可以獲得。將測試數據與研製任務書中的指標進行比較，得到的結果可以作為效率特徵評價的依據。

隨着計算機技術、數據融合技術、網絡技術和通信技術的飛速發展，對軟件功能提出的要求也越來越高，如何評估軟件質量已成為一個迫切需要解決的課題。選擇合適的指標體系並使其量化是做好軟件質量評估的關鍵。當然，由於軟件的評估具有其特有的規範和要求，其評估指標涉及面廣、不確定性因素較多、量化困難，至今還沒有統一的標準。