The Indelicates vznikli v ke konci roku 2005, šest měsíců po odchodu Julie z The Pipettes a spolu se Simonem založila kapelu. Postupně však nabírali další členy.
Jejich debutový singl We Hate The Kids, vydaný v červenci 2006 si získal pozitivní recenze od NME, Rolling Stone a New Statesman.

Nicméně jejich první album American Demo vyšlo až 14. dubna 2008. Kapela se vydala na náročné turné a stala se populární hlavně v Německu, Rakousku a USA.
Druhé album Songs For Swinging Lovers bylo vydáno 12. dubna 2010, původně jen ke stažení ve formě "zaplať-kolik-uznáš-za-vhodné". Vydání kompaktního disku následovala v červnu téhož roku.