ベクトル*行列も間違いではありませんが空間全体を変形します。
コンピュータは有限なので画像の範囲だけ変形します。
プチコンではsprot等を駆使して
変形後の画像=平行移動*回転*画像A
原理的には行列(アフィン変換)を使って上記を計算しているわけです。
具体的には4行*4列行列です。
画像Aを
B=回転を現す行列(4,4)A
C=平行移動を現す行列(4,4)Bを掛けて変換を施した画像Cへと変形するのと
C=平行移動を現す行列(4,4)*回転を現す行列(4,4)Aともできますし、
回転してから平行移動する行列(4,4)=平行移動を現す行列(4,4)*回転を現す行列(4,4)
を作って
C=回転してから平行移動する行列(4,4)A
ともできます。
そして4*4行列何個掛け算しても結果は4*4行列なので複雑な変形が行列一つでできるという次第です。
私は数学は苦手なのであいまいな説明ですがいかがでしょうか?