• Thứ Hai, 17/05/2004 14:55 (GMT+7)

    CMM 5 bị thổi phồng như thế nào?

    Nhiều công ty phần mềm (PM) trên thế giới đã thổi phồng hoặc thậm chí gian lận về mức CMM 5 (mức đánh giá quy trình sản xuất PM cao nhất) của mình. Bài viết nêu lên nỗ lực ngăn chặn sai sót và gian lận về CMM từ phía SEI - tổ chức xây dựng CMM - lẫn từ phía công ty thuê gia công; đồng thời cung cấp 12 câu hỏi tiêu biểu để kiểm định thực chất mức độ CMM 5.

    Chứng nhận CMM mức cao (CMM5) là một trong những ưu thế của công ty phần mềm muốn ký được hợp đồng gia công với nước ngoài. Đáng tiếc, nhiều công ty PM trên thế giới đã thổi phồng hoặc thậm chí gian lận về mức CMM của mình. Nỗ lực ngăn chặn sai sót và gian lận về CMM được thực hiện cả từ phía SEI - tổ chức xây dựng CMM, lẫn từ phía CIO của công ty thuê gia công. 

    Chứng chỉ CMM - một thứ 'thư bảo đảm' thật ra không thật đảm bảo

    Các nhà cung cấp phần mềm thường thổi phồng về mức CMM mà họ có, khiến các CIO tin rằng toàn bộ công ty đã được đánh giá ở mức đó, trong khi thực tế chỉ có một phần của công ty được kiểm tra và cấp chứng chỉ. Ngoài ra khi họ đã đạt CMM ở một mức nhất định, họ cũng không có ý định đánh giá lại CMM nữa, ngay cả khi họ đã thay đổi rất nhiều so với lúc được cấp chứng chỉ. Nghiêm trọng hơn, nhiều công ty còn gian dối (như mua chứng chỉ) về mức CMM của họ.

    Tuy vậy, các CIO muốn kiểm tra mức CMM của các công ty nhận làm gia công cũng thật khó. Chẳng có tổ chức nào đứng ra xác nhận những lời tuyên bố về mức CMM mà các công ty đạt được. Viện Kỹ Nghệ Phần Mềm SEI (Software Engineering Institute), tổ chức đã phát triển CMM dưới sự tài trợ chủ yếu của Bộ Quốc Phòng Mỹ, cũng không đưa ra bất cứ thông tin nào về các công ty được cấp chứng chỉ,  cho dù  họ có nhận được biên bản thẩm định.

    Bản chất của CMM trong các giai đoạn phát triển

     

    Vào những năm 80 của thế kỷ trước, không lực Hoa Kỳ đã rất lúng túng với qui trình mua phần mềm của mình. Và SEI đã cho ra đời CMM nhằm đáp ứng nhu cầu đó.

    Phiên bản CMM đầu tiên ra đời năm 1987 là một bảng câu hỏi nhằm xác định  những thực tiễn (practices) làm phần mềm tốt trong các công ty dự thầu. Điều đó có nghĩa là các công ty chỉ cần khéo léo điền vào bảng câu hỏi theo một mẫu có sẵn, và 'rất dễ để học gạo cho những bài kiểm tra đó' - như một chuyên gia nhận xét.

    Vì thế, năm 1991, SEI đã đổi mới bảng câu hỏi và phát triển nó thành một mô hình cụ thể cho những thực tiễn phát triển phần mềm tốt nhất và mời một nhóm những nhà thẩm định do SEI đào tạo và ủy quyền tới các công ty để thẩm định bản tự khai của họ. Nhóm này xác định các bằng chứng về việc tiến hành những chính sách và qui trình theo CMM ở một bộ phận đại diện nhất định (thường là 10-30% số các dự án phần mềm của công ty). Nhóm cũng tiến hành một số cuộc phỏng vấn kín với những người viết phần mềm và quản lý dự án. Mô hình CMM này gồm 5 mức: Khởi đầu (Initial), Có thể lặp lại (Repeatable), Đã định hình (Defined), Được kiểm soát (Managed) và Tối ưu hóa (Optimizing) (xem TGVT-PCW sêri B số 12/2003, trang 30).

    Mô hình mới khó bị lợi dụng như bảng câu hỏi ban đầu. Tuy nhiên, mức CMM cao không đồng nghĩa với chất lượng sản phẩm tốt. Nó chỉ cho thấy công ty đã tạo ra qui trình theo CMM để theo dõi và quản lý việc phát triển phần mềm mà những công ty có qui mô CMM thấp hơn không có, nhưng không có nghĩa là công ty đang tuân thủ tốt qui trình đó.

     

     

    Dennis Callahan, phó giám đốc điều hành và CIO của công ty bảo hiểm Guardian Life:'Các công ty nước ngoài muốn nhận gia công phần mềm phải đạt đước CMM mức 5.'

     

    Jay Douglass, giám đốc phát triển kinh doanh của SEI đã nói về vấn đề này như sau: 'Thuê một công ty có mức CMM cao hơn các công ty khác sẽ giảm rủi ro, nhưng không đảm bảo chắc chắn điều gì. Một công ty ở mức 5 vẫn có thể tạo ra sản phẩm không dùng được'. Nhưng một khi có vấn đề  với hệ thống phần mềm, thí dụ khi khách hàng gửi lại mã để các lập trình viên sửa và kiểm tra lại, thì các công ty có CMM làm việc tốt hơn hẳn các công ty không có CMM. Đó là đánh giá của Reasoning, công ty thanh tra phần mềm tự động trong một cuộc điều tra gần đây gồm 89 chương trình phần mềm khác nhau. Theo đó, nhìn chung tỷ lệ lỗi phần mềm ở các công ty đạt CMM và không đạt là như nhau, thậm chí các công ty ở mức 5 còn có tỷ lệ lỗi lớn hơn. Nhưng có sự khác nhau khi Reasoning gửi lại mã để các lập trình viên sửa và kiểm tra lại. Kết quả là mã của các công ty có CMM đã cải thiện nhiều, ngược lại với các công ty không có CMM.

    Theo SEI, chứng chỉ CMM có giá trị nhất thời. Nếu việc đánh giá CMM được tiến hành trước đây 2 năm, thì hiện tại công ty có thể không còn ở mức như đã được thẩm định lúc đó.

    Bản thân nhà thẩm định CMM cũng có thể không trung thực, nhất là hiện nay áp lực lên họ tăng cao, khi các công ty gia công phần mềm đang phải cạnh tranh khốc liệt trên thị trường. Will Hayes, một giám đốc chất lượng của Chương Trình Thẩm Định của SEI (SEI Appraisal Program) đã thừa nhận có một nhà thẩm định bị SEI thu hồi giấy phép hoạt động vì đã trao chứng nhận mức 4 cho một công ty không đạt.

     

              12 CÂU HỎI TIÊU BIỂU ĐỂ KIỂM ĐỊNH THỰC CHẤT MỨC ĐỘ CMM5

     

     


    01. Ai là người thẩm định? Người này đã tiến hành thẩm định mức 5 bao nhiêu lần? Nếu người thẩm định chưa bao giờ tham gia đánh giá một công ty ở mức 5, ông ta có thể không đủ khả năng để biết một công ty ở mức 5 thực sự như thế nào.
    02. Phần nào của doanh nghiệp được kiểm tra? Có công ty tuyên bố họ đạt CMM toàn công ty nhưng thực tế chỉ có 10% số dự án được thẩm định.
    03. Cuộc thẩm định được tiến hành cách đây bao lâu? Nếu đã quá hai năm, thì có thể mức CMM không còn nhiều giá trị vì công ty đã có thể thay đổi. Nhất là các công ty nhận gia công ở nước ngoài, họ có thể đã tăng qui mô nhiều lần so với lúc được cấp chứng chỉ CMM.
    04. Mất bao lâu để công ty đạt mức CMM cao hơn mức trước? Nếu ít hơn hai năm từ mức 1 lên mức 4 hoặc ít hơn một năm từ mức 4 lên mức 5 thì không đúng với mức thời gian trung bình, cần kiểm tra công ty đó thêm.
    05. Đâu là bằng chứng chứng tỏ công ty liên tục cải tiến? Mức CMM5 có nghĩa là liên tục cải tiến. Do đó hãy yêu cầu công ty chứng minh quá trình cải tiến của họ. 
    06. Ai lãnh đạo nhóm chất lượng? Cần yêu cầu được gặp nhóm chất lượng, nhóm theo dõi và kiểm soát qui trình phần mềm để đảm bảo rằng nhóm thực sự có năng lực. Chắc hẳn nhóm này phải có một số lượng người đủ lớn và có quyền hạn nhất định trong công ty để làm thay đổi mọi thứ. Họ phải báo cáo trực tiếp lên CEO và công ty nên gắn hệ thống chất lượng với trách nhiệm và sự bồi thường của nhóm này.
    07. Người thẩm định ở trong hay ngoài công ty?

     


    Người trong công ty sẽ không thể khách quan bằng người ngoài, không có quan hệ với công ty.
    08. Yêu cầu đưa ra các bản báo cáo.
    Yêu cầu đưa ra những tài liệu chính thức mà người thẩm định đã cung cấp cho công ty, quan trọng nhất là bản báo cáo những phát hiện cuối cùng (Final Findings Report), trong đó đưa ra những điểm mạnh và điểm yếu của công ty; đối với CMMI là bản tuyên bố thẩm định đưa ra những thông tin cơ bản như thời hạn, địa điểm, cách thức và người tiến hành thẩm định. Nếu các thông tin trong tài liệu có vẻ mơ hồ thì yêu cầu đưa thêm các chi tiết. Công ty chắc hẳn phải có. Nếu công ty không cho bạn xem các bản báo cáo thì có thể họ là những người không trung thực.
    09. Loại dự án nào đã được thẩm định?
    Nếu bạn là một công ty dịch vụ tài chính, bạn cần được đảm bảo chắc chắn ít nhất một trong số các dự án đã được thẩm định để cấp chứng chỉ CMM trước đây có liên quan đến những qui trình trong ngành tài chính.
    10. Người thẩm định có phải là người tư vấn qui trình đang được thẩm định không?
    Các nhà thẩm định phải rất độc lập và khách quan. Nếu họ giúp đỡ công ty phát triển qui trình mà họ là người đánh giá thì sẽ xảy ra mâu thuẫn quyền lợi và họ có thể bị cám dỗ đưa ra mức đánh giá cao để nhận khoản phí tư vấn.
    11. Có bao nhiêu lãnh đạo dự án đã được thẩm định ở mức 5 trước đây tham gia vào dự án của bạn?
    12. Công ty đào tạo người mới như thế nào để xứng với CMM 5?
    Nếu công ty không đào tạo tốt, họ không thể duy trì được mức CMM lâu.

     

     

    Tăng cường vai trò kiểm soát của SEI

    Tình trạng gian lận trước đây khó kiểm soát, vì không có tổ chức hoặc biện pháp nào quản lý các đơn vị đạt chứng chỉ CMM. Gần đây, SEI đã cải tổ lại CMM và lập kế hoạch sẽ hoàn toàn thay thế CMM bằng CMMI (CMM Integration) toàn diện hơn kể từ tháng 12 năm 2005. Bên cạnh đó, SEI tăng cường đào tạo và quản lý các nhà thẩm định. Dưới mô hình CMMI, SEI sẽ xem xét lại các cuộc thẩm định có dấu hiệu bất thường. Và các nhà thẩm định cũng phải gửi bản báo cáo gọi là 'Bản công bố kết quả thẩm định' (Appraisal Disclosure Statement), trong đó nêu rõ bộ phận nào của công ty hay những dự án nào đã được thẩm định, cũng như những ai đã tham gia vào quá trình thẩm định (tuy nhiên, các công ty được thẩm định không buộc phải công bố bản báo cáo đó rộng rãi). SEI đang phát triển những qui tắc đạo đức cho các nhà thẩm định.  Tuy nhiên SEI sẽ không tiết lộ bất cứ thông tin nào về các nhà thẩm định phạm sai lầm.

    SEI cũng không có ý định trở thành một tổ chức quản lý giống như Viện Tiêu Chuẩn Quốc gia Mỹ ANSI (American National Standards Institute), cơ quan quản lý cấp chứng nhận ISO 9000 tại Mỹ. ANSI yêu cầu các công ty phải được tái kiểm tra 6 tháng một lần nếu họ muốn duy trì chứng nhận ISO 9000 và đội ngũ các nhà thẩm định cũng được kiểm tra lại hàng năm.

     

     

    Rick Harris, giám đốc phụ trách phát triển ứng dụng của OnStar, một chi nhánh của GM:'Các CIO thật khó tìm bằng chứng cho những lời tuyên bố về CMM của các công ty.'

     

    CIO với các câu hỏi kiểm tra chứng chỉ CMM

    Watts Humphrey, người từng lãnh đạo việc phát triển CMM và hiện đang là một thành viên của SEI nói: 'Nếu các công ty đi thuê gia công chỉ đề cập những vấn đề đơn giản như mức CMM của nhà cung cấp và khoản tiền rất lớn của hợp đồng thì họ có thể sẽ bị lừa. Do vậy, các CIO phải nắm đủ thông tin để đưa ra những câu hỏi xác đáng.' (xem danh sách12 câu hỏi tiêu biểu)   ÿ

    Theo www.cio.com

     

     

    ID: B0405_32