私のサイトのプチコン講座でも書いていますが、外積を計算することで線分に対して点がどっち側にあるかが分かります。
画像が小さすぎて見えない場合はこちらからどうぞ
http://ochameclub.web.fc2.com/petitcom/lecture.htm講座では線分や多角形と円との当たり判定を書いていますが、点との判定であれば大きさは考慮が不要なので外積だけで簡単に求められるのです。
この方法を使えば三角形に限らず、多角形との当たり判定も簡単で、すべて符号が一致すればその多角形の中に点が含まれるのです。
外積を計算して0になれば多角形の辺上に点があるのでそれも考慮するならば例外処理が必要になりますが。
あと、GTRIとGLINEで囲んだ三角形に違いがあるのは単にアルゴリズムが異なるためだと思います。
画面というのは有限のピクセルで表現されていますのでアルゴリズムの違いで1ドットの差は必ず出てきます。