サーバの立ち上げについて、windowsサーバも可能とお話しがありましたが、その場合、ライセンスはどうなるのでしょうか。。

ライセンス費についてはAWSから購入することも、お客様のものを持ち込むことも可能となります。
こちらのページをご参照ください。（https://aws.amazon.com/jp/windows/resources/licensing/）