Sí, todos aquellos productos que no tengan stock se van a mostrar en Shop, pero tu cliente no va a poder comprarlos.
Para bloquear la venta de productos sin stock, debes ir a Funcionalidades > Mi STEL Shop > Configuración > Portal, pestaña Tienda. En el apartado Configura tu stock, debes desmarcar el botón de "Permitir venta sin stock".