• Thứ Tư, 05/10/2011 10:59 (GMT+7)

    Lập trình với Kinect .NET SDK

    Báo Tử Đầu
    Kinect đánh dấu thời kì chơi game tương tác, cho người chơi cảm giác như thật. Với những người lập trình, câu hỏi đặt ra là: "Làm sao để làm được điều đó"? Và điều này dễ dàng hơn khi Microsoft ra mắt thư viện Kinect .NET SDK. Bài viết giới thiệu các bạn làm quen với thư viện SDK.

     

    I. Khởi động

    Để làm việc với Kinect .NET SDK chúng ta bắt buộc phải có môi trường làm việc như sau:

    Hệ điều hành: Windows 7 (32bit hoặc 64 bit).

    Phần cứng: Cấu hình máy tính với CPU dual-core, 2,66GHz trở lên; card màn hình hỗ trợ Microsoft DirectX 9.0c; RAM tối thiểu 2GB; Quan trọng nhất là thiết bị Kinect.

    Phần mềm: Microsoft Visual Studio 2010 Express hoặc các phiên bản khác của Visual Studio 2010, tải tại địa chỉ http://www.microsoft.com/visualstudio/en-us; Microsoft .NET Framework 4.0 sẽ được cài đặt khi cài VS 2010; Kinect .NET SDK Beta, tải tại địa chỉ http://research.microsoft.com/en-us/um/redmond/projects/kinectsdk/download.aspx.
     
    II. Bước 2: Nhập cuộc

    Bước tiếp theo chúng ta tạo một project để bắt đầu lập trình cho thiết bị Kinect. Bạn có thể tạo project theo dạng mà bạn thích: Windows Form, WPF… Tuy nhiên chúng tôi khuyên bạn nên sử dụng WPF để xử lí hình ảnh tốt hơn. Trong bài viết này chúng tôi tạo project theo dạng WPF.

    Trong bài viết này chúng tôi cũng mặc định các bạn đã biết lập trình trên nền WPF nên chúng tôi chỉ tập trung vào cách khai thác thư viện Kinect .NET SDK.

    Để sử dụng thư viện Kinect .NET SDK, chúng ta Add reference đến Microsoft.Research.Kinect.Nui ở thư mục C:\Program Files (x86)\Microsoft Research KinectSDK hoặc C:\Program Files\Microsoft Research KinectSDK
    Sau khi đã Add reference thành công, chúng ta bắt tay vào khởi động và tắt thiết bị Kinect.

    Khởi động thiết bị

    Trước hết chúng ta khai báo đối tượng Runtime, đối tượng này là đại diện cho thiết bị Kinect

    Runtime kinect = new Runtime();

    Đối tượng Runtime thuộc namespace Microsoft.Research.Kinect.Nui do đó trước khi sử dụng chúng ta phải khai báo:
    using Microsoft.Research.Kinect.Nui;

    Sau đó tiến hành khởi tạo thiết bị với các thông số khởi tạo:

    kinect.Initialize(RuntimeOptions.UseColor)

    Có nhiều tùy chọn khởi tạo, tùy vào mục đích sử dụng mà chúng ta lựa chọn những thông số cho phù hợp:

    RuntimeOptions.UseDepth: Khởi tạo thiết bị để lấy theo độ sâu

    RuntimeOptions.UseSkeletalTracking: khởi tạo thiết bị để theo dõi hoạt động cử chỉ của người

    RuntimeOptions.UseDepthAndPlayerIndex: khởi tạo thiết bị cho phép nhận dạng nhiều nhân vật.

    Các thông số này có thể kết hợp với nhau bằng toán tử ( | )

    kinect.Initialize(RuntimeOptions.UseColor | RuntimeOptions.UseDepth | RuntimeOptions.UseSkeletalTracking | RuntimeOptions.UseDepthAndPlayerIndex);
    Tắt thiết bị

     

    Như vậy là thiết bị đã sẵn sàng cho chúng ta khai thác. Sau khi sử dụng xong, chúng ta tắt thiết bị bằng phương thức:
    kinect.Uninitialize();

    Tóm lại, để sử dụng và tắt thiết bị Kinect chúng ta thực hiện các phương thức sau:

    Runtime kinect;
    private void InitKinectDevice()
    {
    kinect = new Runtime();
    kinect.Initialize(RuntimeOptions.UseColor| RuntimeOptions.UseDepth|
    RuntimeOptions.UseSkeletalTracking | RuntimeOptions.UseDepthAndPlayerIndex);
    }
    private void ShutdownKinectDevice()
    {
    kinect.Uninitialize();
    }
    III. Thao tác với camera

      
    Dạng chiều sâuDạng ảnh màu bình thường
    Có hai việc mà chúng ta có thể làm được với Camera:

    - Lấy hình ảnh ghi nhận được

    - Điều khiển hướng quay.

    1. Lấy hình ảnh ghi nhận được

    Camera của Kinect hỗ trợ chúng ta lấy 2 dạng hình ảnh từ camera: hình ảnh màu bình thường và hình ảnh dạng chiều sâu.

    Để lấy hình ảnh chúng ta cần làm những công đoạn sau:

    • Mở camera với chế độ cần lấy hình ảnh

    //Mở camera với chế độ màu bình thường

    kinect.VideoStream.Open(ImageStreamType.Video, 2,ImageResolution.Resolution640x480, ImageType.ColorYuv);

    //Mở camera với chế độ nhìn theo chiều sâu

    kinect.DepthStream.Open(ImageStreamType.Depth, 2,

    ImageResolution.Resolution320x240,ImageType.DepthAndPlayerIndex);

    Tùy theo mục đích sử dụng mà chúng ta mở một trong 2 phương thức trên hoặc mở cả hai chế độ.

    • Hiển thị hình ảnh ghi nhận được

    Để hình ảnh ghi nhận được hiển thị một cách liên tục, thư viện Microsoft .NET SDK hỗ trợ 2 hàm sự kiện để lấy hình ảnh từ camera. Sự kiện này sẽ được thực hiện khi camera ghi nhận được hình ảnh.
    // sự kiện lấy hình ảnh dạng màu bình thường

    kinect.VideoFrameReady += new EventHandler<ImageFrameReadyEventArgs>(KinectVideoFrameReady);

    // sự kiện lấy hình ảnh dạng chiều sâu

    kinect.DepthFrameReady += new EventHandler<ImageFrameReadyEventArgs>(KinectDepthFrameReady);

    Hình ảnh ghi nhận được sẽ được hiển thị lên control Image có tên là videoColor và depthVideo

    void KinectVideoFrameReady(object sender,ImageFrameReadyEventArgs e)
    {
    PlanarImage Image = e.ImageFrame.Image;
    videoColor.Source = BitmapSource.Create(Image.Width, Image.Height, 96, 96, PixelFormats.Bgr32,null, Image.Bits, Image.Width * Image.BytesPerPixel);
    }
    void KinectDepthFrameReady(object sender, ImageFrameReadyEventArgs e)
    {
    PlanarImage Image = e.ImageFrame.Image;
    byte[] convertedDepthFrame = convertDepthFrame( Image .Bits);
    depth.Source = BitmapSource.Create(Image.Width, Image.Height,96,96,PixelFormats.Bgr32, null, convertedDepthFrame, Image.Width * 4);
    }

    2. Điều khiển hướng quay của thiết bị Kinect

    Camera hướng lênCamera hướng xuống

    Điều khiển hướng quay của thiết bị Kinect được điều khiển bởi thuộc tính ElevationAngle trong đối tượng camera.

    Khởi tạo đối tượng:

    Camera cam= kinect. NuiCamera

    Cho camera hướng lên:

    cam.ElevationAngle = camElevation Angle +5;

    Cho camera hướng xuống:

    cam.ElevationAngle = camElevation Angle -5;

    Lưu ý là góc quay của camera chỉ là +25 và -25 thôi. Vượt ra khỏi giới hạn này thì sẽ bị lỗi.

    private void btnUp_Click(object sender, RoutedEventArgs e)
    {
    cam.ElevationAngle += 5;
    }
    private void btnDown_Click(object sender, RoutedEventArgs e)
    {
    cam.ElevationAngle += -5;
    }
    IV. Bước 4: Nhận dạng cử động của con người

    Để người chơi có thể chơi game dựa vào động tác thì chương trình game phải bắt được từng cử động của cơ thể. Và để làm điều này thì rất… dễ khi có sự hỗ trợ của thư viện Kinect .NET SDK. Thư viện hỗ trợ chúng ta lấy được 20 điểm khớp chuyển động trên cơ thể mình mà Microsoft gọi đó là các điểm Joint.

    HipCenter, Spine, ShoulderCenter, Head, ShoulderLeft, ElbowLeft, WristLeft, HandLeft, ShoulderRight, ElbowRight, WristRight, HandRight, HipLeft, KneeLeft, AnkleLeft, FootLeft, HipRight, KneeRight, AnkleRight,FootRight, Count

    Khung xương

    Hiện tại, SDK chỉ mới hỗ trợ cho chúng ta nhận dạng được cử động của 2 người chơi. Hi vọng phiên bản chính thức sẽ hỗ trợ nhiều hơn.

    Để làm được điều này, đơn giản bạn chỉ cần làm theo các bước sau:

    Khai báo hàm sự kiện phát sinh khi SDK phân tích được chuyển động của người chơi, hàm này thường được khai báo cùng việc InitKinectDevice
    kinect.SkeletonFrameReady += new

    EventHandler<SkeletonFrameReadyEventArgs>(SkeletonFrameReady);

    Lấy danh sách tọa độ các khớp chuyển động của người chơi thông qua thuộc tính SkeletonFrameReadyEventArgs.SkeletonFrame.Skeletons. Như đã nói ở trên các điểm này được trả ra dưới dạng các Joint, do đó để lấy được tọa độ x, y trên màn hình ta cần phải có hàm chuyển đối.

    private Point getDisplayPosition(Joint joint)
    {
    float depthX, depthY;
    nui.SkeletonEngine.SkeletonToDep thImage(joint.Position, out depthX, out depthY);
    //đổi sang hệ quy chiếu tọa độ 320x240
    depthX = Math.Max(0, Math.Min( depthX * 320, 320));
    depthY = Math.Max(0, Math.Min(
    depthY * 240, 240));
    int colorX, colorY;
    ImageViewArea iv = new ImageVie wArea();

    nui.NuiCamera.GetColorPixelCoordinatesFromDepthPixel(ImageResolution.Resolution640x480, iv, (int)depthX, (int)depthY, (short)0, out colorX, out colorY);

    return new Point((int)(skeleton.Width * colorX / 640.0), (int)(skeleton.Height * colorY / 480));
    }
    void kinect_SkeletonFrameReady(object sender, SkeletonFrameReadyEventArgs e)
    {
    SkeletonFrame skeletonFrame = e.SkeletonFrame;
    skeleton.Children.Clear();
    foreach (SkeletonData data in skeletonFrame.Skeletons)
    {
    if (SkeletonTrackingState.Tracked == data.Tracking
    State)
    {
    // Draw bones
    Brush brush = new SolidColorBrush(Color.FromRgb(255, 0, 0));

    skeleton.Children.Add(getBodySegment(data.Joints, brush, JointID.HipCenter, JointID.Spine, JointID.ShoulderCenter, JointID.Head));

    skeleton.Children.Add(getBodySegment(data.Joints, brush, JointID.ShoulderCenter, JointID.ShoulderLeft, JointID.ElbowLeft, JointID.WristLeft, JointID.HandLeft));

     

    skeleton.Children.Add(getBodySegment(data.Joints, brush, JointID.ShoulderCenter, JointID.ShoulderRight, JointID.ElbowRight, JointID.WristRight, JointID.HandRight));

    skeleton.Children.Add(getBodySegment(data.Joints, brush, JointID.HipCenter, JointID.HipLeft, JointID.KneeLeft, JointID.AnkleLeft, JointID.FootLeft));

    skeleton.Children.Add(getBodySegment(data.Joints, brush, JointID.HipCenter, JointID.HipRight, JointID.KneeRight, JointID.AnkleRight, JointID.FootRight));

    //Draw joints
    foreach (Joint joint in data.Joints)
    {
    Point jointPos = getDisplayPosition(joint);
    Line jointLine = new Line();
    jointLine.X1 = jointPos.X - 3;
    jointLine.X2 = jointLine.X1 + 6;
    jointLine.Y1 = jointLine.Y2 = jointPos.Y;
    jointLine.Stroke = new SolidColorBrush(Color.FromRgb (0, 255, 0));
    jointLine.StrokeThickness = 6;
    skeleton.Children.Add(jointLine);
    }
    }
    }
    }

    V. Kết luận

    Như vậy qua bài này chúng ta đã biết cách lấy hình ảnh ghi nhận được từ camera, điều khiển góc quay, và quan trọng nhất là lấy được tọa độ các khớp chuyển động của nhân vật. Ví dụ như lấy được tọa độ của bàn tay, của đầu, chân, hông. Từ đây chúng ta có thể tạo ra những game dựa vào cử chỉ của người chơi và để điều khiển nhân vật trong game.

    Hãy tưởng tưởng một ngày nào đó chúng ta chơi trò Audition thay vì gõ bàn phím, chúng ta sẽ nhảy theo điệu nhạc của nhân vật trên game. Hoặc chúng ta có thể điều khiển máy tính từ xa, giả lập màn hình cảm ứng với Kinect… Vô số ứng dụng dạng tương tác (Interactive Application) cho chúng ta khai thác với thiết bị Kinect.

    Email: nguyentankhtn@gmail.com

    ID: A1108_87