行列式の性質を勘違いしてました。

ほら、i列とj列を入れ替えたら、行列式の符号が変わるってやつがあるよね（交代性だったっけ？）
僕は、i列とj列の隣通しを入れ替えたら、符合が変わって、
偶数個、離れている列同士を入れ替えたら、符号が変わらないって勘違いしていました。

もう一度、教科書を見返してみると、
まず、
i列をj列までもっていくのに、j-i回、列を入れ替えていく。
このとき、j列がj-1列に移動しているのがポイント。

次に、j-1列をi列まで持っていくので、j-1-i回列を入れ替える。

あわせると、必ず奇数回列を入れ替えていることになるので、必ず符号が逆になる。

ど忘れでした。