ピクセル単位でライティング処理を行っているということは点光源＋フォンシェーディングを行っているのでしょうか？ それだとプチコン3号では重くなっても仕方がないですね。 テクスチャはGPSETでピクセル単位で描画するしかないのですが、ライティング処理は平行光源＋フラットシェーディングにすれば大幅に高速化できます。 この場合だとベクトル演算するのが表示している面の数だけになるのでライティングに必要なベクトル演算は1000倍以上高速になります。 高速なリアルタイム処理を行うならばある程度の割り切りは必要だと思います。非リアルタイムでいいのならばレイトレーシングを行うという方法もあります。