Su nombre viene de un comercial del castillo de She-Ra en el que decía "El castillo de cristal es la fuente de todo poder". Se formaron en 2004 por iniciativa del programador Ethan Kath, cuando este descubrió a Alice en un estudio mientras ella grababa para una banda punk. Ethan había encontrado el ingrediente que faltaba en su proyecto. Ethan le dio a Alice 60 pistas instrumentales para poder crear una letra y posteriormente grabar algo. En 2005 Alice grabó varias de estas pistas y así surgió "Alice Practice", el primer sencillo, el cual fue grabado secretamente por el ingeniero y se convirtió en el primer éxito de la banda. El sencillo tuvo una edición limitada en vinilo 7" en London's Merok Records, la cual tardó tres días en acabarse. Varios sencillos más vinieron en ediciones limitadas en vinilo 7" hasta que salió el disco homónimo. La revista NME los calificó con el N°39 en el "Top 50 álbumes más grandes de la Década"
