ssh-agent にセッションを通して一度だけパスワードを入力させるようにするには、ssh-add を手動で実行するか、AddKeysToAgent オプションを利用してください。
ssh-add
AddKeysToAgent