[Unity] Sentis Human Pose Estimation (포즈 트래킹)

 

 

 

https://github.com/Unity-Technologies/sentis-samples/tree/main/BlazeDetectionSample/Pose

sentis-samples/BlazeDetectionSample/Pose at main · Unity-Technologies/sentis-samples

 

유니티 센티스 예제로 올라온 Pose Detection 의 Landmark 좌표를 이용해 휴머노이드 캐릭터에 붙여봤다

 

먼저 Blaze Mediapipe Landmark 위치는 이렇고

 

 

유니티 아바타의 위치는 이렇다

 

겹치는 부위가 많긴 하지만 없는 부위도 많다,,,(Neck, Chest 등등)

그런 부위들은 가상의 위치를 구해 해결했다

 

예제는 이미지로 되어있는데 Webcam으로 테스트하다가 포즈 트래킹은 캠으로 테스트하기 힘들어서

영상으로 테스트했다!

 

 

랜드마크 위치를 놓치면 아바타도 버벅거리긴 하지만,, 이정도면 싱크가 잘 맞는 편인 것 같다!

 

참고한 글들

 

https://kimforever920.tistory.com/172

 

https://velog.io/@one_two_three/%EC%95%84%EB%B0%94%ED%83%80%EC%9D%98-%EA%B4%80%EC%A0%88%EC%9D%84-%EC%9B%80%EC%A7%81%EC%97%AC%EC%84%9C-%EB%8F%99%EC%9E%91%EC%9D%84-%EC%88%98%ED%96%89%ED%95%98%EB%8A%94-%EC%BD%94%EB%93%9C%EB%A5%BC-%EB%A7%8C%EB%93%A4%EC%96%B4%EB%B3%B4%EC%9E%90

 

https://lifeisforu.tistory.com/338