ELBを利用する場合にHTTP/HTTPSとTCPの両方でバランシングしたい場合は併用可能でしょうか。

TCPを含む通信の場合はNLB（Network Load Balancer）を使用することとなります。NLBでもHTTP/HTTPSトラフィックをTCPレベルで負荷分散することはできます。ただし、NLBではパケットの中身まではみませんので、ALBのようなパスルーティング機能などは使用できません。