Beide Songs werden Teil der "Karaoke Night"-EP sein, die am 22. September über Loma Vista erscheinen und zudem Soccer Mommy-Versionen von Songs von R.E.M., Pavement und Slowdive enthalten wird. Über "I'm Only Me When I'm With You" sagt sie:
"Ich wollte diesen Song unbedingt covern, weil er einer meiner Lieblingssongs von Taylors erstem Album ist", sagt sie. "Ich habe diese Platte so oft gehört, als ich ein Kind war, und ich glaube, sie hat mich damals sehr beeinflusst."