Café Engel, Les années fatidiques