Hloubkové sensory prodělaly v posledních letech velký kvalitativní vzestup. Zařízení jako je Microsoft Kinect prokázaly svou schopnost poskytovat spolehlivá 3D data o okolním prostoru. To vedlo ke vzniku nových uživatelských rozhraní, založených na snímání lidských rukou. Vědci nyní zkoumají rozdílná paradigmata uživatelské interakce, nicméně ideální řešení dosud nebylo nalezeno, neboť na uživatele jsou stále kladena mnohá omezení. I přes velké pokroky v oboru přirozených uživatelských rozhraní, kde je uživatel osvobozen od práce s jakýmkoliv pomocným vstupním zařízením, klávesnice a myš je v roce 2015 stále hlavním paradigmatem interakce s počítačem. Hlavním důvodem je vysoká komplexnost úloh analýzy lidské ruky a interpretace gest.
Tato práce prezentuje algoritmus detekce ruky pro přesný výpočet souřadnic špiček prstů a dalších parametrů ruky na základě snímku ruky získaného z hloubkové kamery. Algoritmus správně analyzuje jak rovné, tak ohnuté prsty a je rotačně invariantní. Algoritmus lze použít pro vývoj uživatelského rozhraní založeného na gestech rukou, jako je TouchTable. TouchTable je multi-modální uživatelské rozhraní vyvinuté v rámci této dizertace. Práce prezentuje výhody navrženého algoritmu oproti dosud publikovaným metodám. Přesnost algoritmu je vyhodnocena pomocí DepthTipu, nové veřejné datové sady, která slouží k vyhodnocování algoritmů počítajících souřadnice prstů.
Anotace v angličtině
Depth sensor technology has undergone a large quality increase in recent years.
Devices like Microsoft Kinect proved to provide reliable 3D data about the surrounding environment. This led to an emergence of new user interfaces based on a tracking of user's hands. In spite of advantages in natural interfaces, where user is free of any input device, a keyboard and mouse is still a major paradigm for human computer interaction in 2015. The main reason for this stems from the high intricacy of the hand feature detection and gesture classification tasks to properly interpret gestures of human hands.
This work presents a detection algorithm for accurate calculation of fingertip coordinates and other hand properties, based on a hand image captured from a depth sensor. It properly analyzes both straight and bent fingers and is rotation invariant. The algorithm can be used for a development of user interfaces based on a human gesture analysis, in a same way as it was used in our TouchTable interface. TouchTable is a multi-touch, multimodal user interface developed as a part of the dissertation. The user of this interface can relax his hands on a working surface, which prevents fatigue from longer usage. This fatigue is known from traditional touch screens and in-air gesture based user interfaces. Advantages of the proposed algorithm over other methods of fingertip detection are described. The algorithm is evaluated using DepthTip, a new public dataset that can be used to evaluate accuracy of fingertip detection algorithms.
3D, auditory memory, curvature, blob extraction, convolution matrix, data retrieval, data storage, depth sensor, depth camera, digital image processing, ergonomics, finger, fingertip, gesture, hand, HCI, Human computer interaction, human hand, information processing, Kinect, MoCap, multi-touch interface, linear regression, TouchTable, template matching, user interface, visual memory, data retrieval, data storage.
Rozsah průvodní práce
-
Jazyk
CZ
Anotace
Hloubkové sensory prodělaly v posledních letech velký kvalitativní vzestup. Zařízení jako je Microsoft Kinect prokázaly svou schopnost poskytovat spolehlivá 3D data o okolním prostoru. To vedlo ke vzniku nových uživatelských rozhraní, založených na snímání lidských rukou. Vědci nyní zkoumají rozdílná paradigmata uživatelské interakce, nicméně ideální řešení dosud nebylo nalezeno, neboť na uživatele jsou stále kladena mnohá omezení. I přes velké pokroky v oboru přirozených uživatelských rozhraní, kde je uživatel osvobozen od práce s jakýmkoliv pomocným vstupním zařízením, klávesnice a myš je v roce 2015 stále hlavním paradigmatem interakce s počítačem. Hlavním důvodem je vysoká komplexnost úloh analýzy lidské ruky a interpretace gest.
Tato práce prezentuje algoritmus detekce ruky pro přesný výpočet souřadnic špiček prstů a dalších parametrů ruky na základě snímku ruky získaného z hloubkové kamery. Algoritmus správně analyzuje jak rovné, tak ohnuté prsty a je rotačně invariantní. Algoritmus lze použít pro vývoj uživatelského rozhraní založeného na gestech rukou, jako je TouchTable. TouchTable je multi-modální uživatelské rozhraní vyvinuté v rámci této dizertace. Práce prezentuje výhody navrženého algoritmu oproti dosud publikovaným metodám. Přesnost algoritmu je vyhodnocena pomocí DepthTipu, nové veřejné datové sady, která slouží k vyhodnocování algoritmů počítajících souřadnice prstů.
Anotace v angličtině
Depth sensor technology has undergone a large quality increase in recent years.
Devices like Microsoft Kinect proved to provide reliable 3D data about the surrounding environment. This led to an emergence of new user interfaces based on a tracking of user's hands. In spite of advantages in natural interfaces, where user is free of any input device, a keyboard and mouse is still a major paradigm for human computer interaction in 2015. The main reason for this stems from the high intricacy of the hand feature detection and gesture classification tasks to properly interpret gestures of human hands.
This work presents a detection algorithm for accurate calculation of fingertip coordinates and other hand properties, based on a hand image captured from a depth sensor. It properly analyzes both straight and bent fingers and is rotation invariant. The algorithm can be used for a development of user interfaces based on a human gesture analysis, in a same way as it was used in our TouchTable interface. TouchTable is a multi-touch, multimodal user interface developed as a part of the dissertation. The user of this interface can relax his hands on a working surface, which prevents fatigue from longer usage. This fatigue is known from traditional touch screens and in-air gesture based user interfaces. Advantages of the proposed algorithm over other methods of fingertip detection are described. The algorithm is evaluated using DepthTip, a new public dataset that can be used to evaluate accuracy of fingertip detection algorithms.
3D, auditory memory, curvature, blob extraction, convolution matrix, data retrieval, data storage, depth sensor, depth camera, digital image processing, ergonomics, finger, fingertip, gesture, hand, HCI, Human computer interaction, human hand, information processing, Kinect, MoCap, multi-touch interface, linear regression, TouchTable, template matching, user interface, visual memory, data retrieval, data storage.
Zásady pro vypracování
The dissertation will be answering questions about the most suitable design and implementation of a 3D user interface, based on an intuitive and ergonomic human computer interaction. The main focus of the work is on finding an ideal real-time algorithm for human hand analysis with best possible fingertip detection accuracy and additional information clues about detected hand features. The Final algorithm should ideally meet all of following objectives: High fingertip detection accuracy, ability to detect fingertips for both straight and bent fingers,
ability to provide additional hand features (palm center, finger vectors), ability to provide coordinates of both base and middle joint of each finger and real-time performance (at least 30 frames per second processing speed).
Zásady pro vypracování
The dissertation will be answering questions about the most suitable design and implementation of a 3D user interface, based on an intuitive and ergonomic human computer interaction. The main focus of the work is on finding an ideal real-time algorithm for human hand analysis with best possible fingertip detection accuracy and additional information clues about detected hand features. The Final algorithm should ideally meet all of following objectives: High fingertip detection accuracy, ability to detect fingertips for both straight and bent fingers,
ability to provide additional hand features (palm center, finger vectors), ability to provide coordinates of both base and middle joint of each finger and real-time performance (at least 30 frames per second processing speed).
Seznam doporučené literatury
Y.V. Parkale. Gesture based operating system control. In 2012 Second International Conference on Advanced Computing Communication Technologies (ACCT), pages
318-323, 2012.
Julie A. Jacko and Andrew Sears, editors. The Human-computer Interaction Handbook: Fundamentals, Evolving Technologies and Emerging Applications . L. Erlbaum Associates Inc., Hillsdale, NJ, USA, 2003.
G. Hackenberg, R. McCall, and Wolfgang Broll. Lightweight palm and finger tracking for real-time 3d gesture control. In 2011 IEEE Virtual Reality Conference (VR), pages 19-26, March 2011.
Seznam doporučené literatury
Y.V. Parkale. Gesture based operating system control. In 2012 Second International Conference on Advanced Computing Communication Technologies (ACCT), pages
318-323, 2012.
Julie A. Jacko and Andrew Sears, editors. The Human-computer Interaction Handbook: Fundamentals, Evolving Technologies and Emerging Applications . L. Erlbaum Associates Inc., Hillsdale, NJ, USA, 2003.
G. Hackenberg, R. McCall, and Wolfgang Broll. Lightweight palm and finger tracking for real-time 3d gesture control. In 2011 IEEE Virtual Reality Conference (VR), pages 19-26, March 2011.
Přílohy volně vložené
-
Přílohy vázané v práci
-
Převzato z knihovny
Ne
Plný text práce
Přílohy
Posudek(y) oponenta
Hodnocení vedoucího
Záznam průběhu obhajoby
Po představení Ing. Pavla Jetenského byla komise seznámena se stanoviskem školitele k disertační práci a osobě disertanta. Doktorand seznámil komisi se svojí disertační prací formou prezentace. Poté byly předneseny posudky oponentů a doktorand zodpověděl otázky a reagoval na připomínky oponentů. V následné veřejné diskusi disertant odpovídal na otázky členů komise, které jsou uvedeny na samostatných listech. Na závěr proběhlo tajné hlasování. Protokol o výsledcích hlasování tvoří samostatnou přílohu.