今までは pserver を使って CVS をリモートから使用していたのだけれど，どうやら SSH 経由でいけるらしいことが判明しました．

• 2.9.2 Connecting with rsh - Version Management with CVS

上記が "official" manual for CVS だそうです．

$ export CVS_RSH=ssh
$ export CVSROOT=:ext:cvshost:/home/cvsuser

これで cvs co などを行えば SSH 経由で CVS の操作が可能です． ただ，ポートの変更方法が未だ見つからず．