たぶん生のSubversionでもそうだとおもう。
直接関係ないけどDebian (squeeze) に入っているlibsvn-perlはバグがあるのでtestingなりから引っ張ってくるのがよいとおもいます。
~/.ssh/config に設定を追加する
Host deploy_server HostName example.com User aereal IdentityFile ~/.ssh/deploy_server.id_rsa IdentitiesOnly
よくある設定。ssh deploy_server
とかしてちゃんと通ることを確認。portなどの設定を適宜追加する。