プチコン3号は、GFILLだけではなく表示関係の命令はすべて実数型で指定しても内部では整数型として処理されています。そのため2の31乗以上の値はoverflowとなります。
FLOORは整数値にするだけであって整数型にするわけではありません。なお、FLOORは正しくは「切り捨て」ではなく「その値を超えない最大の整数」となっています。
したがって、同じ挙動にするには整数型に変換してやればいいのです。
変数Xに実数型の値が入っている場合はA%=Xとすれば整数型に変換できます。
また、整数型として処理する演算子を使うことで同様に整数型にすることができます。
0 OR X
-1 AND X
X>>0
X DIV 1
どれも同じ結果になります。