It's a pity S didn't ～ ⇔ S should have done

should have done は「～すべきだったのに（実際はしなかった）」、shouldn't have done は「～すべきではなかったのに（実際はした）」。事実の文とは肯定・否定が逆になる。

• It's a pity that you didn't come to the party.
  あなたがパーティーに来なかったのは残念だ。
• You should have come to the party.
  パーティーに来ればよかったのに。
• I'm sorry that I told him the secret.
  彼に秘密を話したことを悔やんでいる。
• I shouldn't have told him the secret.
  彼に秘密を話すべきではなかった。

You should have seen it!（見せたかったなあ）のように、会話では非難ではなく「あれは見ものだったよ」という軽い言い方にもなる。こうした口語の感覚を知っていると会話文問題で意図を取り違えない。