It is said that S 過去形 ⇔ S is said to have done

「言われている」のは今（is said）で、裕福だったのは過去（was）。この時間のずれを完了不定詞 to have been で表す。

• People say that he was very rich when he was young.
  彼は若い頃とても裕福だったと言われている。
• It is said that he was very rich when he was young.
  彼は若い頃とても裕福だったと言われている。
• He is said to have been very rich when he was young.
  彼は若い頃とても裕福だったと言われている。

is said to have done は歴史・伝記の文章の定番（The temple is said to have been built in the 8th century.）。to have を見たら「伝聞の内容はさらに昔」と即座に時間軸を引けると読解が速くなる。