タッチが離された状態のときだけ座標をリセット＆描画をスキップしてみてはどうでしょうか？