said to A, "Let's ～." ⇔ suggested that we (should) ～ ⇔ suggested ～ing

Let's は suggest / propose で表す。that 節の中は should + 原形、または should を省いた原形（仮定法現在）。目的語にするなら動名詞。

• He said to me, "Let's go swimming."
  彼は私に「泳ぎに行こう」と言った。
• He suggested that we (should) go swimming.
  彼は私たちで泳ぎに行こうと提案した。
• He suggested going swimming.
  彼は泳ぎに行くことを提案した。
• He proposed to me that we go swimming.
  彼は私に泳ぎに行こうと持ちかけた。

suggest / propose / insist / demand / require など「提案・要求」の動詞の that 節で原形が使われるのは、まだ実現していない「こうあるべき」内容だから。アメリカ英語では should を入れないのが普通。