金属のテクスチャ配列の切り抜き/サイズ変更方法

Question

MTLTextureに基づくNチャネルMPSImageまたはテクスチャ配列があります。

どのようにNチャンネルをすべてコピーし、「ピクセルサイズ」を変更すると、リージョンをトリミングするのですか？

Answer 1

サイズ変更のケースではリサンプリングが必要となり、少し複雑になるので、私は作物のケースについて説明します。あなたが本当にそれを必要とするかどうか教えてください。

あなたのソースMPSImageは、128x128ピクセルである12個の機能チャンネル（3スライス）画像であり、宛先画像は64x64ピクセルである8個の機能チャンネル画像（2スライス）であり、ソースの最後の2つのスライスのうち、ボトム・右の64x64領域を宛先に追加します。

：それはあなたが複数のブリットは、すべてのスライスをカバーするためにコマンドを発行する必要がありますので、あなたは、一度配列テクスチャの複数のスライスに/からコピーできるようにするの私は承知している何のAPIはありません

let sourceRegion = MTLRegionMake3D(64, 64, 0, 64, 64, 1) 
let destOrigin = MTLOrigin(x: 0, y: 0, z: 0) 
let firstSlice = 1 
let lastSlice = 2 // inclusive 

let commandBuffer = commandQueue.makeCommandBuffer() 
let blitEncoder = commandBuffer.makeBlitCommandEncoder() 

for slice in firstSlice...lastSlice { 
    blitEncoder.copy(from: sourceImage.texture, 
        sourceSlice: slice, 
        sourceLevel: 0, 
        sourceOrigin: sourceRegion.origin, 
        sourceSize: sourceRegion.size, 
        to: destImage.texture, 
        destinationSlice: slice - firstSlice, 
        destinationLevel: 0, 
        destinationOrigin: destOrigin) 
} 

blitEncoder.endEncoding() 
commandBuffer.commit() 

Answer 2

私はなぜあなたがトリミングしたいのか分かりませんが、MPSCNNレイヤーはMPSImageのより小さい部分で動作することができます。 offsetとclipRectプロパティを設定するだけで、レイヤーはソースイメージのその領域でのみ機能します。

実際には、MPSCNNNeuronLinearを使用して作物をこのようにすることができます。 blitエンコーダを使用するよりも速いか遅いかはわかりませんが、確かに簡単です。

編集：にコード例が追加されました。 、

let yourImage: MPSImage = ... 
let commandBuffer = ... 

// This describes the size of the cropped image. 
let imgDesc = MPSImageDescriptor(...) 

// If you're going to use the cropped image in other layers 
// then it's a good idea to make it a temporary image. 
let tempImg = MPSTemporaryImage(commandBuffer: commandBuffer, imageDescriptor: imgDesc) 

// Set the cropping offset: 
linearNeuron.offset = MPSOffset(x: ..., y: ..., z: 0) 

// The clip rect is the size of the output image. 
linearNeuron.clipRect = MTLRegionMake(0, 0, imgDesc.width, imgDesc.height) 

linearNeuron.encode(commandBuffer: commandBuffer, sourceImage: yourImage, destinationImage: tempImg) 

// Here do your other layers, taking tempImg as input. 
. . . 

commandBuffer.commit()