Premessa il pulsante fa passare la corrente solo quando è premuto, quindi nel tuo caso serve un interruttore che chiuda il circuito alla pressione del bottone e lo riapra successivamente, quando nuovamente premuto, in più ti ricordo che i led necessitano di una resistenza per il controllo della corrente, altrimenti non hanno vita lunga.