AutoScalingでインスタンスが急激に増えたときに使用料はかなり跳ね上がってしまうのではないですか？

AutoScalingでは、インスタンスの最大数を指定することができます。
これによって、意図せず無数にインスタンスが増えてしまうことは防ぐことができます。また、AWS Budgetsというサービスによって、事前に設定したしきい値を超える場合にアラートを発生させる（メールなどを送信する）こともできますので、併せて使用することで急激なコスト増の対策とすることができます。