Prima di Brimstone, Guy Pearce aveva già lavorato con Robert Pattinson sul set di The Rover ed era entusiasta di recitare di nuovo con lui tant'è che scrisse all'attore, durante il suo primo giorno di riprese, che non vedeva l'ora di incontrarlo nuovamente. Pattinson però rispose: "Ho cambiato idea, il film non fa per me." e affidò a Pearce il compito di dare questa brutta notizia al regista Martin Koolhoven.
La produzione di Brimstone, film finanziato da fonti diverse, era molto confusionaria ed era stato impossibile far firmare contratti ufficiali agli attori, quindi, legalmente, nessuno poteva criticare la decisione di Pattinson, e il regista fu semplicemente costretto a prenderne atto. Fortunatamente, la sta star di Twilight fu rapidamente sostituita da Kit Harington, protagonista de Il trono di spade.
Mia Wasikowska e Pattinson avrebbero dovuto recitare rispettivamente nei panni di Liz e Samuel, ma furono sostituiti da Dakota Fanning e Harington poco prima dell'inizio delle riprese. La Wasikowska abbandonò la produzione a causa di "imprevedibili problemi personali" a detta del regista. Quindi quando Guy Pearce prese l'aereo per l'Europa corse un grosso rischio perché non c'erano ancora sicurezze dal punto di vista finanziario. Tuttavia, essendo entusiasta del suo personaggio e dall'incontro con il regista Martin Koolhoven, decise di acconsentire comunque e la sua presenza fu un fattore decisivo nel garantire il resto del budget del film.
Nel giro di pochi giorni la Wasikowska fu sostituita dalla Fanning, che era già stata presa in considerazione per la parte, ma aveva già avuto problemi di disponibilità. In un'intervista del 2017 Robert Pattinson ha dichiarato di essersi ritirato perché pensava che il film sarebbe stato cancellato dopo che la Wasikowska aveva abbandonato il cast e che quando la produzione tornò di nuovo in pista, i suoi nuovi impegni lavorativi non gli permisero di tornare. L'attore ha anche specificato di essersi pentito di non aver girato il film.