DBのバージョンがを上げたい場合、アップデートはAWS側で行っていただけるのでしょうか。

メジャーバージョンのアップグレードの場合は、手動で変更する必要があります。マイナーバージョンのアップグレードの場合は、エンジンバージョンを手動で変更することも、マイナーバージョン自動アップグレードを有効にすることもできます。https://docs.aws.amazon.com/ja_jp/AmazonRDS/latest/UserGuide/USER_UpgradeDBInstance.Upgrading.html