Face Mesh Landmark FACEMESH_NUM_LANDMARKS = 468 FACEMESH_NUM_LANDMARKS_WITH_IRISES = 478 Face Mesh Return multi_face_landmarks (namedTuple) 468개의 x, y, z x, y 는 [0.0] ~ [1.0] 으로 normalized 된 값이고 z는 depth를 나타냄. 작은 값일 수록 카메라와 가까움을 나타냄. https://google.github.io/mediapipe/solutions/face_mesh.html#multi_face_landmarks Face Mesh Cross-platform, customizable ML solutions for live and streaming media. g..
개발/mediapipe
첫째주 insightface recognition arcface_mxnet 모델 학습시키는 것을 서버에서 실행해보았습니다. 도커 환경 설치부터 도커 내에서 gpu를 사용하고, 볼륨 연결과 이미지를 받고 컨테이너를 실행시켜보는 등 기본적인 것들을 실행해보며 알 수 있었습니다. 둘째주 기능을 붙이려고 하는 사이트에 대한 정보를 간단히 공유하고 미디어파이프를 사용하기 위한 기능을 확실히 하고, 미디어파이프 스터디를 해보는 것으로 마무리지었습니다. 셋째주 저번주 회의 이후에는 디버깅 연결해보고, face_detection 관련 소스를 보았습니다. 간단한 진행순서로는 Input video 입력받고 > detection 하고 > overlay 해서 output video 에 씌워 보여주었습니다. 구조는 //med..
brew install opencv 로 설치 후 경로 잘 기억해놓고, xcode로 build settings의 header search path, library search path, other flags path 세 가지 설정해주고 설치 후 보여지는 pkg-config 관련 path 내에서 .pc 파일이 위치한 파일의 이름을 --libs 뒤에 붙이면 된다. 나는 opencv였다. 보여지는 텍스트를 복사 붙여넣기한다. pkg-config --cflags --libs opencv signing&Capabilities 의 disable library validation 체크 main.cpp #include #include int main(int argc, const char * argv[]) { // ins..
arch -arm64 lldb ./your-program References https://stackoverflow.com/questions/71194781/cannot-debug-executable-with-lldb-on-macos-m1-attach-failed-os-kern-invalid Cannot debug executable with lldb on macOS M1: attach failed ((os/kern) invalid argument I am trying to debug a C executable compiled for arm64 on an Apple M1 MacBook Pro, running macOS Monterey. However, when I try to run the program..
The basics Packet 기본적인 데이터 플로우 유닛. the basic data flow unit. 패킷은 숫자로 나타낸 timestamp 와 변경할 수 없는 payload 를 위한 shared pointer 로 구성되어있습니다. 이 payload는 어떤 C++ type이라도 가능하고, payload의 type은 또한 패킷의 type으로써 참조됩니다. 패킷들은 value 클래스들이고 싸게 복사될 수 있습니다.(copied chealpy) 각 복사본은 reference-counting semantics와 함께 payload의 소유권을 공유합니다. 각 복사본은 각자의 timestamp를 가지고 있습니다. Packet을 참고하세요. Graph Mediapipe 처리는 그래프 내에서 이루어집니다. 이 ..
단순히 문서 해석과 궁금한 점을 덧붙여 작성하였습니다. 시리즈는 아래와 같습니다. Framework Concepts 1. Calculators 2. Graphs 3. Packets 4. Synchronization 5. GPU 6. Real-time Streams Framework Concepts - Real-time Streams Real-time timestamps Mediapipe calculator graphs 는 주로 비디오의 스트림을 처리하거나 상호작용 애플리케이션을 위한 오디오 프레임들을 처리하는 데에 사용됩니다. Mediapipe 프레임워크는 단일적으로 증가하는 timestamps 를 할당하기 위한 연달은 패킷들을 오직 필요로 합니다. 관례에 따르면, 실시간 calculators와 grap..
단순히 문서 해석과 궁금한 점을 덧붙여 작성하였습니다. 시리즈는 아래와 같습니다. Framework Concepts 1. Calculators 2. Graphs 3. Packets 4. Synchronization 5. GPU 6. Real-time Streams Framework Concepts - GPU Overview Mediapipe는 GPU 계산과 렌더링을 위한 calculator nodes 를 지원하고, CPU 기반의 calculator nodes 와 함께 그들을 잘 섞는 만큼 여러 개의 GPU nodes 를 합치는 것을 허용합니다. 모바일 플랫폼에서의 여러 GPU APIs 가 존재합니다.(예를 들어 OpenGL ES, Metal 과 Vulkan) Mediapipe 는 하나의 cross-API..
단순히 문서 해석과 궁금한 점을 덧붙여 작성하였습니다. 시리즈는 아래와 같습니다. Framework Concepts 1. Calculators 2. Graphs 3. Packets 4. Synchronization 5. GPU 6. Real-time Streams Framework Concepts - Synchronization Scheduling mechanics Mediapipe graph에서 Data processing은 CalculatorBase 서브클래스들로써 정의된 processing nodes 안에서 발생합니다. 스케줄링 시스템은 각 calculator가 실행되어야할 때 결정합니다. 각 그래프는 최소한 하나의 scheduler queue를 가지고 있습니다. 각 scheduler queue는 ..
