RDSについて、例えばオラクルのライセンス費用もAWS費用に含まれるのでしょうか。（別途費用が発生するのか）

RDSでは使用するにデータベースによって料金が変わります。
オラクルを利用する場合、おっしゃる通りライセンス料が必要になりますので、その分他のデータベースを利用する場合に比べて料金が上がります。なお、ライセンス料はAWS費用に含められています。また、お持ちのライセンス利用することもできその場合は料金が変わります。
詳細はこちらをご確認ください。
https://aws.amazon.com/jp/rds/oracle/pricing/