ぼかしフィルタです。フォトショとかでよくあるやつ。 ジャギジャギは周波数領域で見ると高周波なのね。 だから高周波成分を捨てて低周波成分だけ残すようにすると、 エッジが滑らか(ぼける)になります。 PCが使えるようだったらガウシアンフィルタとか検索してみて。 あと、プチコンでの実装は、私の大浦FFTのサンプルにあったはず。プロ生ちゃんにぼかしフィルタかけたやつ。