would rather A than B ⇔ prefer ~ing to ~ing ⇔ prefer to A rather than B

would rather の後ろは A も B も動詞の原形。prefer A to B では to が前置詞なので ~ing を使う。prefer to do を使うときは to の重複を避けて rather than (do) にする。

• I would rather walk than take a crowded bus.
  混んだバスに乗るくらいなら歩く方がいい。
• I prefer walking to taking a crowded bus.
  混雑したバスに乗るより歩く方が好きだ。
• I prefer to walk rather than take a crowded bus.
  混んだバスに乗るよりむしろ歩きたい。

I'd rather not. は「遠慮しておきます」のやんわり断る定番表現。No. よりずっと柔らかいので、会話でも英作文でも使える。