色々細かい不具合がありそうなのですが、とりあえず遅くなることについては、VSYNCが敵のループの中に入っている事が原因だと思うので、そこのVSYNCは無くして、メインループの最後辺りに変更した方がいいかもです。