Le groupe Horse Lords a été fondé à Baltimore en 2010 ; issu du collectif expérimental Teeth Mountain, le groupe a débuté en trio avec le batteur Sam Haberman, le guitariste Owen Gardner et le bassiste Max Eilbacher, avant d’accueillir rapidement le saxophoniste alto Andrew Bernstein au sein de sa formation de base. Bien que Horse Lords soit issu de la scène noise et rock alternative très vivante de Baltimore – un environnement légendaire pour les artistes et les excentriques qui a vu naître de nombreux groupes marginaux influents (Lungfish, Matmos) –, leur approche est plus éclectique que ne le laissent supposer les rythmes fragmentés du rock électrique instrumental.