RDS のバージョンは、自動でバージョンアップされるのでしょうか？

メジャーバージョンのアップグレードの場合は、手動で変更する必要があります。
マイナーバージョンのアップグレードの場合は、エンジンバージョンを手動で変更することも、マイナーバージョン自動アップグレードを有効にすることもできます。
https://docs.aws.amazon.com/ja_jp/AmazonRDS/latest/UserGuide/USER_UpgradeDBInstance.Upgrading.html