「奥行」が取得できればいいわけですからZで算出すればXYを合わせる必要は無いですよ。 拡大や回転計算を行って透視変換を行う直前のZ座標を使えば奥から描画できるはずです。