S3に配置した静的なWebサイトとRDSの連携というのは可能なのでしょうか？例えば、Lambdaから定期的にRDSからデータを取得して、S3のファイルを更新するといった方法で可能でしょうか。

はい、可能ですが、Lambda + DynamoDB + S3 の方がスケーラビリティを確保できるかと思います。