DEFには主に2種類の方法があって、一つは関数、もう一つは命令になります。
関数の場合は()がつき、RETURNで値を返します。返せる値は基本的には1つです。(配列などにすれば変わりますが)
命令の場合は()は付かずに値を返す場合はOUTを使います。OUTを使った場合は、その変数名に値を入れる事で返せます。
なので今回のように3つ値を返したい場合は、
DEF GGET X,Y OUT R,G,B
A=GSPOIT(X,Y)
RGBREAD A OUT R,G,B
END
と命令にすれば一応目的は達成できると思います。(ちょっとRGBが同じOUTでまぎわらしく見えますが…)
とりあえず基本はそんな感じですね。