Đảm bảo chất lượng phần mềm - Chương 3: Các chuẩn chất lượng phần mềm

*Đảm bảo chất lượng phần mềmSoftware Quality AssuranceChương 3: CÁC CHUẨN CHẤT LƯỢNG PHẦN MỀMPGS. TS. Trần Cao ĐệBộ môn Công nghệ phần mềm Khoa CNTT&TT – Đại học Cần ThơNăm 2013*Chuẩn (standard) là gì? Wikimedia: a standard is a basic for comparison. Standards are made either by many people that agree on something, or if some organization makes it so. Khái niệm chuẩn: (trong lĩnh vực CNPM) chuẩn là một định nghĩa đầy đủ, rõ ràng một kỹ thuật, qui trình hoặc thủ tục bởi một nhóm các nhà cung cấp dịch vụ hay sản phẩm. Chuẩn làm cho các sản phẩm, dịch vụ có nguồn gốc khác nhau có thể so sánh được hay nối kết được.Giúp đảm bảo chất lượng cao (bằng cách check các yêu cầu của chuẩn)Chỉ ra được chất lượng sản phẩm.Gia tăng tính đồng bộ giữa các nhóm và đào tạo nhân viên mớiCung cấp hướng dẫn thực hành tốt/đúng- tránh sai lầm trong quá khứCung cấp sự bảo hộ về mặt luật pháp.Hai loại chuẩn Thực tế (de facto)Luật (de jure)*Một số hệ thống chuẩn trong CNPMISOInternational Organization for StandardizationCMM Software Engineering Institute’s (SEI) Capability Maturity ModelIEEE Institute of Electrical and Electronics EngineersDOD U.S. Department of Defence*Giới thiệu một số chuẩn trong CNPMChuẩn KTPM (software engineering)Terminology: IEEE Std 610.12:1990 Standard of Software Engineering TerminologyTechnical: ISO/IEC 8631:1989 Program Constructs and Conventions for their RepresentationQuản lí chất lượng phần mềm Quality management ISO 9000-3 Quality Management and Quality Assurance Standards - Part 3: Guidelines for the application of 9001 to the development, supply, installation and maintenance of computer softwareQuality measurement IEEE Std 1061-1992 Standard for Software Quality Metrics MethodologyQuản lí dự ánGeneral project management IEE Std 1058.1-1987 Standard for Software Project Management PlansProducing plans IEEE Std 1059-1993 Guide for Software Verification and Validation Plans*Giới thiệu các chuẩn trong CNPM (tt)Sản phẩm phần mềmProduct evaluation ISO/IEC 14598 Software product evaluationPackaging ISO/IEC 12119:1994 Software Packages - Quality Requirements and TestingQui trình phần mềm Life cycle ISO/IEC 12207:1995 Information Technology - Software Life Cycle ProcessesAcquisition ISO/IEC 15026 System and software Integrity LevelsMaintenance IEEE Std 1219-1992 Standard for Software MaintenanceProductivity IEE Std 1045-1992 Standard for Software Productivity Metrics*Một số chuẩn IEEE quan trọng cho SQA IEEE 610.12-1990 (R2002) Standard Glossary of Software Engineering Terminology IEEE 730-2002 Standard for Software Quality Assurance Plans IEEE 828-1998 Standard for Software Configuration Management Plans IEEE 829-1998 Standard for Software Test DocumentationIEEE 830-1998 Recommended Practice for Software Requirements Specifications IEEE 1008-1987 (R1993, R2002) Standard for Software Unit Testing IEEE 1012-1998 Standard for Software Verification and Validation IEEE 11016-1998 Recommended Practice for Software Design Descriptions IEEE 1028-1997 (R2002) Standard for Software Reviews IEEE 1045-1992 (R2002) Standard for Software Productivity Metrics IEEE 1058-1998 Standard for Software Project Management Plans IEEE 1061-1998 (R2004) Standard for Software Quality Metrics Methodology IEEE 1074-1997 Standard for Developing Software Life Cycle Processes IEEE 1220-1998 Standard for the Application and Management of the Systems Engineering Process IEEE 1490-2003 Adoption of PMI Standard: A Guide to the Project Management Body of Knowledge IEEE 1517-1999 (R2004) Standard for Information Technology – Software Life Cycle Processes - Reuse Processes*Quan điểm trong QLCLProduct standardsProcess standardsDesign review formDesign review conductRequirements document structureSubmission of documents to CMMethod header formatVersion release processJava programming styleProject plan approval processProject plan formatChange control processChange request formTest recording process*ISO 9000*Chuỗi ISO 9000Chuẩn quốc tế cho quản lí chất lượng.Áp dụng cho nhiều loại tổ chức từ công nghiệp chế tạo cho đến các ngành công nghiệp dịch vụISO 9000: Fundamentals and vocabularyISO 9001: RequirementsISO 9004: Guidelines for performance improvements ISO9001 áp dụng cho tổ chức thiết kế, phát triển, bảo trì phần mềm.ISO 9001 là mô hình tổng quát cho tiến trình chất lượng và nó phải được cụ thể hóa ở mỗi tổ chức dùng chuẩn này.*Chuỗi ISO 9000 (tt)ISO 9001:2000 - “Quality Management Systems –Requirements”ISO 90003:2004 – “Software engineering – Guidelines for the application of ISO 9001:2000 to computer software”Cung cấp các hướng dẫn (về chất lượng) cho dành hợp đồng, cung ứng, phát triển, vận hành, bảo trì phần mềm và các dịch vụ có liên quan.cross-refers toISO 12207 Life Cycle Models; to support software project activitiesISO TR 15504 Software Process Assessment; to support the measurement of processes and continual improvement ISO 14143 Functional Size Measurement*Triết lý của ISO 9000Tài liệu hóa cái gì bạn làmLưu ý làm cho phù hợp các đòi hỏi của chuẩn áp dụngLàm cái bạn đã viết trong tài liệuGhi nhận cái bạn đã làm Minh chứng (cho cái bạn đã làm)Thu thập, lưu trữ các bằng chứng là đã làm theo những gì đã viết trong tài liệu (chuẩn)Để kiểm tra và xác nhận, công nhận chuẩn*ISO 9001Quản trị tổ chức như là một hệ thống các qui trình liên quan nhau. Người quản lí sẽ lập kế hoạch cho các qui trình này; xác định mối quan hệ giữa chúng; thiết lập mục tiêu; đo lường tiến trình và thực hiện cải tiến.Thiết lập một số tiêu chí chất lượng:Tập hợp các mục tiêu chất lượng (Set quality goals)Đảm bảo các đòi hỏi của khách hàng được hiểu và thỏa mãn (Ensure customer requirements are understood and met)Đào tạo đội ngũ làm việc(Train employees) Kiểm soát quá trình sản xuất (Control your production processes)Mua từ các nhà cung cấp khác có khả năng cung cấp SP chất lượng (Purchase from suppliers that can provide quality product)Sửa lỗi và đảm bảo chúng không xảy ra nữa (Correct problems and make sure they do not happen again)Nếu tất cả các tiêu chí đều được thỏa, công ty sẽ được đăng kí cấp chứng chỉ ISO 9001. *Yêu cầu của ISO 9001 (REQUIREMENTS)Chính sách về chất lượng phải được xác định và tài liệu hóa; đồng thời phải đảm bảo chính sách này được thông suốt ở mọi cấp trong tổ chức.Mọi qui trình kiểm soát chất lượng đều phải được tài liệu hóa.Mọi hợp đồng cung cấp hàng hóa, dịch vụ phải có sự kí kết rằng nhà phát triển có khả năng giao hàng.Phải có qui trình xét duyệt, phê chuẩn thiết kế và các tài liệu khác.Thành phần nào trong hệ thống cung cấp cho khách hàng mà đến từ bên thứ ba phải có qui trình, qui định để đảm bảo, kiểm tra và xác nhận chất lượng.Mỗi một sản phẩm đều có thể nhận diện được cùng với các thành phần của nó. Tiến trình tạo ra sản phẩm hoàn chỉnh phải được lên kế hoạch và kiểm soát.Thanh tra và kiểm thử (mã nguồn) phải được thực hiện suốt quá trình phát triển, hoàn thiện trước khi bàn giao. Thanh tra và kiểm thử cũng phải được thực hiện trên thành phần thu được từ bên thứ 3.*Yêu cầu của ISO 9001 (tt)Thiết bị dùng trong quá trình sản xuất cũng phải được kiểm soát là hợp chuẩn. Trạng thái kiểm tra mọi thành phần trong hệ thống và cả hệ thống phải được ghi chép rõ ràng, đầy đủ.Thận trọng để đảm bảo rằng mọi phần tử được biết là có lỗi không bị sử dụng một cách tình cờ.Khi phát hiện lỗi, các biện pháp cần thiết phải được thực hiện để loại bỏ lỗi và đảm bảo rằng lỗi đó sẽ không xuất hiện nữa.Có qui định thỏa đáng về sử dụng, lưu trữ, bảo quản, đóng gói và chuyển giao sản phẩm..Có đủ số liệu để minh chứng cho chất lượng hệ thống đang làm việc là thỏa mãn.Hệ thống quản lí chất lượng được xác nhận trên một cơ sở một cách thường xuyên.Các hoạt động phục vụ và trợ giúp cũng là chủ đề trong quản lí chất lượng.Nhà phát triển phải thiết lập các kỹ thuật thống kê để kiểm tra tính chấp nhận được của sản phẩm.*ISO 9001 SectionsSection 4: General RequirementsRequirements for the overall Quality Management SystemSection 5: Management ResponsibilityRequirements for Management and their role in the Quality Management SystemSection 6: Resource Management Requirements for resources including personnel, training, the facility and work environmentSection 7: Product RealizationRequirements for the production of the product or service, including planning, customer related processes, design, purchasing, and process control.Section 8: Measurement, Analysis and ImprovementRequirements on monitoring processes and improving those processes.*ISO 90003Chứa các hướng dẫn để áp dụng các phần tử đặc tả trong ISO 9001, ISO 9002, and ISO 9003... vào phần mềm *ISO 9000 và Quản lí chất lượng*ISO 9126*ISO 9126 3 góc nhìn về chất lượng SP phần mềm:Chất lượng trong (Internal Quality) là các đặc tính của SP phần mềm từ góc nhìn bên trong trong suốt quá trình phát triển hoặc bảo trì (ví dụ code, kiến trúc). Chất lượng ngoài (External Quality) là các đặc tính của SP phần mềm từ góc nhìn bên ngoài thông qua thực thi chương trình.Chất lượng dùng (Quality in Use) là góc nhìn của người dùng về chất lượng SP phần mềm khi dùng nó trong một môi trường, hoàn cảnh cụ thể. Nó phản ánh mức độ mà người dùng có thể hoàn thành mục tiêu của họ trong một hoàn cảnh cụ thể hơn là đánh giá các đặc tính của bản thân phần mềmChất lượng trong xác định chất lượng ngoài, chất lượng ngoài ảnh hưởng đến chất lượng dùng*ISO9126 StandardsISO/IEC 9126-1:2001 Software engineering -- Product quality -- Part 1: Quality modelISO/IEC TR 9126-2:2003 Software engineering -- Product quality -- Part 2: External metricsISO/IEC TR 9126-3:2003 Software engineering -- Product quality -- Part 3: Internal metricsISO/IEC TR 9126-4:2004 Software engineering -- Product quality -- Part 4: Quality in use metrics*Khung chất lượng (Quality Framework) User quality needs External quality Requirements Internal quality Requirements Quality in useExternal quality Internal qualityContribute to specifying Contribute to specifying indicatesindicatesUse and feedback ValidationVerification*Chất lượng trong vòng đời phần mềm*ISO 9126: chất lượng trong và ngoài*Chức năng PM (Functionality) Functionality : Khả năng của phần mềm cung cấp các chức năng tương ứng với yêu cầu đã được phát biểu và suy diễn khi phần mềm được dùng trong các điều kiện cụ thể.Suitability (thích hợp) – Khả năng phần mềm cung cấp tập các chức năng phù hợp với công việc và mục đích của người dùng đã được đặc tả.Accuracy (chính xác)- Khả năng phần mềm cung cấp kết quả hoặc hiệu ứng đúng đắn hoặc được đồng ý với độ chính xác đòi hỏi.Interoperability (tương tác)- Khả năng phần mềm trong tương tác với 1 hoặc nhiều hệ thống khác được đặc tả.Security (an toàn) - Khả năng phần mềm bảo vệ thông tin, dữ liệu sao cho người hoặc hệ thống không được phép thì không truy cập được và người hoặc êệ thống được phép thì truy cập được.Functional Compliance (thỏa chuẩn chức năng) – Khả năng phần mềm thỏa mãn chuẩn, qui ước hoặc các qui định luật pháp về chức năng.*Reliability (tin cậy) Reliability - Khả năng phần mềm đạt được một mức độ hiệu quả xác định khi dùng trong một điều kiện cụ thể.Maturity (chín chắn)- Khả năng phần mềm trong phòng tránh hỏng hóc vì lỗi phần mềm.Đo bằng tần xuất hỏng (Frequency of failure)Fault tolerance (chịu đựng lỗi)- Khả năng phần mềm để đạt được một mức độ hiệu quả xác định trong trường hợp có lỗi hoặc có sự xâm hại trên giao diện đã được đặc tảRecoverability (Phục hồi)- Khả năng phần mềm để thiết lập lại mức độ hiệu quả hoặc phục hồi dữ liệu bị ảnh hưởng trực tiếp trong trường hợp có hỏng hóc.Reliability compliance (thỏa chuẩn độ tin cậy) - Khả năng phần mềm thỏa mãn chuẩn, qui ước hoặc các qui định luật pháp về độ tin cậy.Availability (tính sẳn dùng) là tổ hợp của maturity, fault tolerance và recoverability*Usability (dùng được) Usability – Khả năng phần mềm liên quan tới tính dễ hiểu, dễ học, hấp dẫn khi được dùng trong một điều kiện cụ thể.Understandability (hiểu được)Learnability (học được)Operability (vận hành được)Attractiveness (hấp dẫn)Usability compliance (thỏa mãn chuẩn về dùng được).Chú ý: trong trường hợp ứng dụng web, tính dùng được còn bao gồm cả truy cập được.*Efficiency (hiệu quả) Efficiency – khả năng phần mềm trong hiệu quả sử dụng nguồn lực, tài nguyên máy tính trong những điều kiện cụ thể.Time behavior (đáp ứng về thời gian)- thời gian thao tác hoặc trả lời hoặc tần xuất đứt quãng khi thực hiện các chức năng trong một điều kiện cụ thể.Resource utilization (dùng tài nguyên) số lượng tài nguyên và kiểu tài nguyên dùng phù hợp.Efficiency compliance (thỏa mãn chuẩn về hiệu quả).*Bảo trì được - Maintainability Maintainability – Khả năng sửa đổi được phần mềm, bao gồm sửa lỗi, cải tiến để đáp ứng các thay đổi về môi trường hoặc trong đặc tả chức năng. Analyzability (phân tích được) – khám xét được sự phụ thuộc hoặc nguyên nhân hỏng hóc.Changeability (thay đổi được)Stability (ổn định)- tránh được hiệu ứng lề từ việc thay đổi trong phần mềm.Testability (kiểm tra được) – kiểm tra, kiểm chứng được phần mềm đã sửa đổi.Maintainability Compliance (thỏa mãn chuẩn về tính bảo trì được)*Khả chuyển - Portability Portability – Khả năng phần mềm chuyển từ môi trường này sang môi trường khácAdaptability (thích ứng)- thích ứng trong các môi trường khác nhau không cần hành động hoặc phương tiện nào khác.Installability – (cài đặt được)Co-existence (cùng tồn tại)- cùng tồn tại với các phần mềm độc lập khác và chia sẻ tài nguyên.Replaceability (thay thế được), ví dụ IE8 thay IE7Portability Compliance (thỏa mãn chuẩn về khả chuyển)*Chất lượng dùng - Quality in useQuality in use Effectiveness Productivity Safety Satisfaction Effectiveness (hiệu quả): khả năng phần mềm cho phép người dùng hoàn thành mục đích xác định với độ chính xác và đầy đủ trong ngữ cảnh được dùng.Productivity (hiệu suất): cho phép người dùng trả một lượng phù hợp về tài nguyên liên quan tới mục đích dùngSafety (an toàn): mức độ rủi ro phù hợp về tổn hại con người, công việc kinh doanh, của cải, Satisfaction (thỏa mãn người dùng)*CMM*Five maturity levels1 234 5 Process unpredictable, poorly controlled, and reactiveProcess characterized for projects and is often reactiveProcess characterized for the organization and is proactiveProcess measuredand controlledFocus on continuous process improvementOptimizingQuantitativelyManagedDefinedInitialManagedOptimizingDefined*CMM DefinitionsInitial: tiến trình phần mềm không ổn định (ad hoc), tùy tiện. Ít có qui trình được định nghĩa. Thành công của dự án nhờ vào tài năng và nỗ lực cá nhân.Repeatable: Qui trình cơ bản về quản lí dự án được thiết lập để kiểm soát giá, thời gian biểu, chức năng. Tính kỷ luật và chặt chẽ của qui trình được thiết lập để đảm bảo thành công đã có trước đó với các dự án tương tự.Defined: Qui trình phần mềm cho các hoạt động kỹ nghệ và quản lí được tài liệu hóa, chuẩn hóa và tích hợp vào trong qui trình chuẩn của tổ chức. Mọi dự án dùng một phiên bản đã được duyệt và ban hành trong tổ chức để phát triển và bảo trì phần mềm.Managed: Các độ đo cho qui trình phần mềm và chất lượng sản phẩm được tập hợp. Cả qui trình và sản phẩm đều được hiểu và kiểm soát định lượng.Optimizing: Cải tiến qui trình 1 cách liên tục được thực hiện dựa trên các phản hồi định lượng từ qui trình và từ các sáng kiến, phát minh công nghệ.*Level 1Ad-hoc và tùy tiện (chaotic) Phần mềm có thể thành công nhưng có khả năng thất bại cao và không kịp tiến độ Đội ngũ thực hiện dự án mỗi lần mỗi khác.Có thể có thành công nhưng không chắc sẽ lặp lạiĐôi lúc ước lượng chính xác giá và thời gian nhưng nhiều lúc không chính xácThành công phụ thuộc vào người giỏi làm việc đúng đắnKhó trụ được khi người giỏi bỏ điNhiều công ty phần mềm ở mức này *Level 2Qui trình được thiết lậpKế hoạch cho dự án mới được thiết lập dựa trên những cái tương tự trước đó.Kiểm soát và quản lí cơ bản Theo dõi giá và lịch biểuXác định các vấn đềSản phẩm được chuẩn hóa: kiểu viết code, kiểu testKiểm soát và quản lí dự án cơ bảnQuản lí yêu cầu khách hàngKế hoạch dự ánĐiều hành và kiểm soát dự ánQuản lí hợp đồng với nhà cung cấpĐảm bảo chất lượng qui trình và sản phẩmQuản lí cấu hình Đo lường và phân tích *Level 3Qui trình công nghệ phần mềm và quản lí được định nghĩa và tài liệu hóaĐội ngũ nhân viên có thể đo lường qui trình khi cầnTiếp cận tới chuẩn hóa.Kiểm tra chéo.Có hạ tầng cho qui trình công nghệ và quản lí cho tất cả dự án Tập trung vào qui trình của tổ chứcXác định qui trình của tổ chứcĐào tạo trong tổ chứcQuản lí rủi roQuản lí dự án tích hợpPhát triển các yêu cầu khách hàngGiải quyết các vấn đề kỹ thuậtTích hợp sản phẩmKiểm tra-xác nhận (Validation)Kiểm thử (Verification)Phân tích quyết định và giải pháp.*Level 4Đo lường và phân tích qui trình Dữ liệu đo lường được dùng để thiết lập qui trình mớiQui trình định lượng được và dự báo được.Các cải tiến có thể nhìn thấy ở đây.Có hiểu biết 1 cách định lượng cho cả qui trình và sản phẩm đang xây dựngĐánh giá hiệu quả của qui trình thuộc tổ chức Quản lí dự án 1 cách định lượng.*Level 5Qui trình được thiết lập và đo được.Các cải tiến liên tục dựa trên các phản hồi Có thể phân tích nguyên nhân hỏng hóc và nguyên nhânCó thể đạt tiến độ đã thiết lậpTiếp tục trưởng thành Các vấn đề về cả tổ chức và dự án phải được đề cập và thiết lập các cải tiến liên tục, định lượng:Phân tích nguyên nhân và hậu quả Sáng kiến của tổ chức và triển khai.*CMM in a big picture *Phạm vi qui trình chính Key Process AreasXác định một tập các hoạt động mà khi thực hiện đồng loạt nó hoàn thành các mục tiêu quan trọng để nâng cao khả năng của qui trình(KPA) Được định nghĩa để tập trung vào một mức trưởng thànhXác định các vấn đề cần phải giải quyết để đạt mức trưởng thành*CMM key process areas *Common FeaturesCác thuộc tính chỉ ra có hay không các cài đặt và tổ chức hóa của phạm vi qui trình quan trọng (KPA) là có hiệu quả và mới nhấtĐược dùng để tổ chức các thực hành chủ yếu trong mỗi lĩnh vực quan trọng.Các đặc tính chung :Cam kết thực hiện (Commitment to Perform)Khả năng thực hiện (Ability to Perform)Các hoạt động được thực hiện (Activities Performed)Đo lường và phân tích (Measurement and Analysis)Kiểm chứng các thiết lập (Verifying Implementation)*Thực hành chủ yếu (Key Practices)Mỗi phạm vi qui trình quan trọng được mô tả theo thuật ngữ của các thực hành mà nó đóng góp vào việc hoàn thành mục tiêuHạ tầng và các hoạt động mà nó đóng góp và việc thiết lập có hiệu quả và tổ chức hóa của các phạm vi qui trình quan trọngCMMI*CMMI (Capability Maturity Model Integration)Mục tiêu : cung cấp các mô hình để đạt được các cải tiến qui trình và sản phẩm; tập trung vào xây dựng cung cụ trợ giúp cho cải tiến qui trình; kiểm tra xem qui trình hiện hành có đạt được một cách thường xuyên mục tiêu đã thiết lập cho nó. Bao gồm một tập hợp chung nhất các phạm vi qui trình quan trọng trong mô hình được tích hợpKhung CMMI bao gồm kho dữ liệu được dùng để sinh ra mô hình CMM cùng với các trợ giúp đánh giá và tài liệu/phương tiện huấn luyện.Kho dữ liệu chứa các thành phần chung và chia sẻ, cái làm thành phần cốt lĩ của mô hình. Đầu ra của khung CMMI bao gồm các mô hình, tài liệu huấn luyện và phương pháp đánh giá cho các qui tắc đơn lẻ và các qui tắc phức hợp. Các mô hình (Models):Software Engineering (CMMI-SW)System Engineering (CMMI-SE)System Engineering + Software Engineering (CMMI-SE/SW)Systems Engineering + Software Engineering with Integrated Product & Process Development (CMMI-SE/SW/IPPD)*CMMI Application3-step Use of Framework:Selection of the ModelThe selection of a model is dependent upon the particular discipline or disciplines relevant to the organization within the scope of applicability to the organization.Selection of the Assessment MethodAssociated with all CMMI models is an discipline-independent assessment methodology used to support continuous process improvement. Supporting assessment aids (such as questionnaires, templates, etc.) are specific to the model selected.CMMI produces the assessment methodology for a full, comprehensive assessment. This can be used to derive other types of assessments, such as quick look, first, and reassessment.Selection of the Model Representation (a.k.a. Tailoring)Selective use of the content generated by the CMMI framework to restrict the application of a CMMI model to specified process areas. This may be appropriate if certain process areas are not appropriate to the organization's role or business approach. For example, if an organization integrates subcontractor labor into its own processes and has no actual suppliers, then the Supplier Agreement Management process area would not be essential to the organization's practice and could be tailored out.*CMM/CMMI pros and cons PROSModel is downloadableStandard process for evaluating vendors (assessors are sanctioned by SEI)Training available on the modelIncludes all processesCONSNot recognized by some commercial vendorsRequires significant training to interpret the modelAssumes that the internal staff is a software/system expertDoes not include human resources (staffing)