スイフト4：顔ランドマークポイントからios11ビジョンフレームワークを使用して顔マップを作成する方法

Question

ios 11ビジョンフレームワークを使用して、リアルタイムで顔ランドマークポイントを生成しています。私は顔のランドマークポイントを取得し、顔のランドマークポイントのUIBezierPathでカメラレイヤーをオーバーレイすることができます。しかし、私は右下の画像のようなものを取得したいと思います。現在、私は左の画像のようなものを持っていますが、ポイントをループして中点を追加しようとしましたが、ポイントからこれらの三角形を生成する方法はわかりません。左のポイントから右のマップ​​を作成するにはどうすればいいですか？

私は、私が持っているすべての点で私ができることは分かりませんが、あまり助けになるわけではありませんが、私は顔全体のバウンディングボックスからポイントを持っています。最後に、私がopenCVなどの必要な点をすべて認識できるようにするためのフレームワークはありますか？私に教えてください。ありがとう！ここで

私はhttps://github.com/DroidsOnRoids/VisionFaceDetectionから使用してきたコードです：

func detectLandmarks(on image: CIImage) { 
    try? faceLandmarksDetectionRequest.perform([faceLandmarks], on: image) 
    if let landmarksResults = faceLandmarks.results as? [VNFaceObservation] { 

     for observation in landmarksResults { 

      DispatchQueue.main.async { 
       if let boundingBox = self.faceLandmarks.inputFaceObservations?.first?.boundingBox { 
        let faceBoundingBox = boundingBox.scaled(to: self.view.bounds.size) 
        //different types of landmarks 



        let faceContour = observation.landmarks?.faceContour 
        self.convertPointsForFace(faceContour, faceBoundingBox) 

        let leftEye = observation.landmarks?.leftEye 
        self.convertPointsForFace(leftEye, faceBoundingBox) 

        let rightEye = observation.landmarks?.rightEye 
        self.convertPointsForFace(rightEye, faceBoundingBox) 

        let leftPupil = observation.landmarks?.leftPupil 
        self.convertPointsForFace(leftPupil, faceBoundingBox) 

        let rightPupil = observation.landmarks?.rightPupil 
        self.convertPointsForFace(rightPupil, faceBoundingBox) 

        let nose = observation.landmarks?.nose 
        self.convertPointsForFace(nose, faceBoundingBox) 

        let lips = observation.landmarks?.innerLips 
        self.convertPointsForFace(lips, faceBoundingBox) 

        let leftEyebrow = observation.landmarks?.leftEyebrow 
        self.convertPointsForFace(leftEyebrow, faceBoundingBox) 

        let rightEyebrow = observation.landmarks?.rightEyebrow 
        self.convertPointsForFace(rightEyebrow, faceBoundingBox) 

        let noseCrest = observation.landmarks?.noseCrest 
        self.convertPointsForFace(noseCrest, faceBoundingBox) 

        let outerLips = observation.landmarks?.outerLips 
        self.convertPointsForFace(outerLips, faceBoundingBox) 
       } 
      } 
     } 
    } 

} 

func convertPointsForFace(_ landmark: VNFaceLandmarkRegion2D?, _ boundingBox: CGRect) { 
    if let points = landmark?.points, let count = landmark?.pointCount { 
     let convertedPoints = convert(points, with: count) 



     let faceLandmarkPoints = convertedPoints.map { (point: (x: CGFloat, y: CGFloat)) -> (x: CGFloat, y: CGFloat) in 
      let pointX = point.x * boundingBox.width + boundingBox.origin.x 
      let pointY = point.y * boundingBox.height + boundingBox.origin.y 

      return (x: pointX, y: pointY) 
     } 

     DispatchQueue.main.async { 
      self.draw(points: faceLandmarkPoints) 
     } 
    } 
} 


func draw(points: [(x: CGFloat, y: CGFloat)]) { 
    let newLayer = CAShapeLayer() 
    newLayer.strokeColor = UIColor.blue.cgColor 
    newLayer.lineWidth = 4.0 

    let path = UIBezierPath() 
    path.move(to: CGPoint(x: points[0].x, y: points[0].y)) 
    for i in 0..<points.count - 1 { 
     let point = CGPoint(x: points[i].x, y: points[i].y) 
     path.addLine(to: point) 
     path.move(to: point) 
    } 
    path.addLine(to: CGPoint(x: points[0].x, y: points[0].y)) 
    newLayer.path = path.cgPath 

    shapeLayer.addSublayer(newLayer) 
} 

Answer 1

私は、解決した解決策を見つけることになりました。 https://github.com/AlexLittlejohn/DelaunaySwiftでデラウネイ三角測量を使用し、ビジョンフレームワークの顔のランドマーク検出要求によって生成されたポイントで作業するように修正しました。これはコードスニペットでは簡単に説明できませんので、下に私の解決策を示すgithub repoをリンクしました。ビジョンフレームワークは眉毛の点のみを取得するため、これは額からポイントを取得しないことに注意してください。

https://github.com/ahashim1/Face

Answer 2

あなたが右の画像にしたい何Candideメッシュです。これらのポイントをメッシュにマップする必要があります。私はあなたがコメントで議論されたルートを行く必要はないと思う。

P.S有名なフィルターアプリのAPKコンテンツを見ている間にCandideを見つけました（私にはキャスパーを思い出させる）。まだ試してみる時間がなかった。