NOTで負数になるのは整数型で演算しているためです。 プチコン3号の整数型は符号付き32bit整数型なのですがこれは補数によって負数を表現しているため最上位のbitが1の時は負数になります。 NOTやANDのようなビット演算子というのはこの32bit分をまとめて論理演算します。 したがって、NOT 1というのは 実質的にはNOT &B00000000000000000000000000000001であり、その結果は&B11111111111111111111111111111110となりこれは-2となります。