「そうですね」は答えを求められているのでしかたなく答えるんだが、「おっしゃるとおりですね」は『わかったから早く喋らせろ』であることが多いのがより腹立たしいのだろう。