Sí, todos aquellos productos que no tengan stock se van a mostrar en Shop, pero tu cliente no va a poder comprarlos.

Para bloquear la venta de productos sin stock debes ir a Funcionalidades > Mi STEL Shop > Configuración > Portal, pestaña Tienda, en el apartado Configura tu stock, debes desmarcar el botón de Permitir venta sin stock.