静的なコンテンツのみのサイトであれば、S3に配置すればサーバレスなサイトを構築することが可能でしょうか？

はい、静的なコンテンツのみであれば可能です。