O Esporte Clube Elvira foi fundado em julho de 1920, mas a história do clube começou três anos antes, quando os operários da Fábrica de Meias Elvira, de Jacareí, formaram um time de futebol para jogar com o Esperança Futebol Clube e o time de Vila Mariana. O time do Elvira contava com equipamentos e uniformes fornecidos pela fábrica de meias e com um campo de futebol aberto num terreno próximo.
Em 1918, o time era conhecido como "Team Elvira", e desde suas primeiras partidas, já mobilizava grande parte da sociedade jacareiense. Tinha torcida organizada e uma banda de música própria, que o acompanhava nas partidas. Suas cores vermelha e branca também lhe renderam o apelido "Vermelhinho", que perdurou por décadas e foi adotado como o nome do jornal interno do clube.
Em 1921, quando o Esporte Clube Elvira já ganhara personalidade jurídica, o campo de futebol foi reformado e ganhou uma arquibancada. O time jogava contra equipes de várias cidades da região do Vale do Paraíba e, em 1926, foi o campeão dos Jogos do Interior de São Paulo.
Em 1953, a Prefeitura de Jacareí concluiu as obras do Estádio Antônio Jordão Mercadante, um dos fundadores do Elvira, com capacidade para 3 mil torcedores. Nesse tempo, o futebol do Elvira alcançou suas melhores marcas. Em 1949, foi vice-campeão do Interior e Campeão do Vale do Paraíba. Em 1957 foi o campeão da Terceira Divisão do Campeonato Paulista de Futebol e participou do torneio por sete anos. Ainda na década de 1950, o Elvira incorporou as instalações do Clube Náutico, nas margens do rio Paraíba
A partir dos anos de 1960, o Esporte Clube Elvira deu um impulso de diversificação de suas atividades, marcando forte presença na vida social de Jacareí. A sede recreativa recebeu um salão de festas e um complexo de piscinas, enquanto, no bairro do São João, o clube ergueu um ginásio poliesportivo. A sede social, no Centro, tornou-se um importante ponto de encontro da cidade, com inúmeras festas, bailes, concursos, espetáculos culturais e muitos outros eventos. O clube tinha, então, milhares de associados.
A instabilidade econômica no Brasil nas décadas de 1980 e 1990 abalou o Elvira, que passou a sofrer com a saída de associados e com outras dificuldades financeiras. Em 2000, o estádio foi vendido e demolido, para dar lugar a um condomínio residencial. O mesmo aconteceu com a sede recreativa, que passou à administração da Prefeitura de Jacareí.