例例文
The hotel room was small and dirty, to say the least.
そのホテルの部屋は、控えめに言っても狭くて汚かった。
EN英英で言うと
used to show that the real situation is much worse or better than your words
源語源・イメージ

「一番少なく(the least)言ったとしても」→ 実際はもっとひどい・すごい、という含み。
!入試ポイント
独立不定詞の一つ。to tell the truth、to be honest、needless to say、strange to say などと一緒に覚える。文末・文中に挿入されることが多い。
「控えめに言っても・少なくとも」。実際はもっとひどい(すごい)ことを、わざと弱く言って皮肉や強調を込める。文末に置いてコンマで区切るのが典型。独立不定詞の一つ(to be honest / so to speak と同じ仲間)。
同じ意味to put it mildly
VSここが違う!
to say the least (of it)vsnot to say ~
not to say ~は「~とは言わないまでも」で、A, not to say B(B とは言わないまでも A)の形。to say the least は「控えめに言っても」で、それ以上の程度を暗示する。
It was difficult, not to say impossible. / It was difficult, to say the least.
覚覚え方
「一番少なく(the least)言っても」→本当はもっと言えるが、最小限の言い方でもこうだ。最上級 least を使う点を押さえる。
Q入試形式の例題
His speech was boring, to say the ; half of the audience fell asleep.
to say the least で「控えめに言っても」。the の後ろなので最上級 least。less(比較級)・little(原級)はこの成句にならない。last は「最後の」で意味が違う。後半の「聴衆の半分が眠った」が、実際はもっとひどかったことを示している。