Michael Burkett, meglio conosciuto come Fat Mike dei NOFX, nel 1995 decide di dare atto ad un progetto che ha in mente da qualche tempo: dare vita ad una band progetto parallelo ai NOFX che esegua esclusivamente cover di classici brani degli anni '60 e '70. Chiede così a Joey Cape, cantante dei Lagwagon, di unirsi a lui, e questo fa lo stesso con Chris Shiflett, un ragazzo con cui condivide la casa. Fat Mike, che in questa band vuole dedicarsi esclusivamente al basso, chiede a Spike Slawson, un impiegato alla Fat Wreck Chords, etichetta di proprietà dello stesso leader dei NOFX, di unirsi a loro come cantante, mentre il ruolo di batterista viene preso da Dave Raun, ex membro dei Rich Kids On LSD. La line-up è così composta da Spike alla voce, Joey e Chris (che si fa chiamare Jake Jackson) alle chitarre, Fat Mike al basso e Dave alla batteria. I Me First And The Gimme Gimmes, così si danno nome i cinque, nascono solamente per divertimento, senza avere in mente progetti seri, senza prospettive di concerti o sessioni di studio, solo per divertirsi insieme agli amici. La band partecipa all'inizio solamente a varie compilations quello stesso anno, ma ben presto, sempre nel '95, rilascia un singolo per la Fat Wreck intitolato "Denver", dal nome dell'autore originale dei due brani inclusi, John Denver appunto. Il singolo viene stampato in 1.000 copie, 500 delle quali però non vengono messe in vendite perché tenute da parte per un futuro box set che la band ha già in mente nel quale includere tutti i singoli rilasciati. I Me First And The Gimme Gimmes diventano così in fretta una band a tutti gli effetti, ma rimanendo comunque un side-project per quasi tutti (infatti effettua concerti raramente): nel frattempo infatti sia Dave che Chris si sono uniti a due delle principali band di hardcore melodico del mondo, rispettivamente i Lagwagon ed i No Use For A Name. Il gruppo inizia così a rilasciare una serie di EP, tutti contenenti due brani ed intitolati col nome o cognome dell'artista di cui rivisitano i brani: nel '96 esce così "Billy" (Joel) per la Epitaph, e nel '97 "Diamond" (Neil) per la Hopeless Records, "Paul" (Simon) per la Kung Fu e "Barry" (Manilow) per la One Side Dummy. Sul finire dello stesso anno esce anche il primo full-length della band, "Have A Ball", edito dalla Fat Wreck, che contiene tutte le a-side dei singoli precedentemente rilasciati più alcune nuove canzoni. Intanto anche Spike, che ha smesso di lavorare alla Fat Wreck, si è unito ad un gruppo di primaria importanza, gli Swingin' Utters, ed i Me First And The Gimme Gimmes sono così diventati per tutti i suoi membri un side-project: la band continua comunque a rilasciare nuovi singoli, facendo uscire nel '99 "Elton" (John) per la Honest Don's (altra label di Fat Mike), "Garf" (Garfunkel del duo Simon & Garfunkel) per la Lookout! e "In Your Barcalounger" (contenente due remakes di James Taylor) per la Alternative Tentacles (casa di Jello Biafra, ex leader dei Dead Kennedys). Nel giugno del '99 esce inoltre per la Fat Wreck "Are A Drag", il secondo full-length della band, mentre il terzo, "Blow In The Wind" viene rilasciato sempre dalla label di Fat Mike agli inizi del 2001. I singoli rilasciati quest'anno sono "Shannon" (due cover di Del Shannon) per la B.Y.O. Records e "Stevens" (due cover di Cat Stevens) per la Nitro Records di Dexter Holland degli Offspring. Quella stessa estate la band partecipa al Vans Warped Tour e rilascia un EP, "Turn Japanese", solo per il mercato giapponese, edito dalla Pizza Of Death Records, etichetta degli Hi-Standard, band giapponese su Fat Wreck, mentre in novembre rende disponibile dal suo sito ufficiale il box set (in 500 copie) pianificato da lungo tempo contenente tutti i dieci singoli precedentemente rilasciati più uno inedito, "Bob" (che contiene due cover di Bob Dylan), oltre che gadgets vari. L'estate successiva i Me First And The Gimme Gimmes partecipano nuovamente al Warped Tour, dove Warren Fitzgerald dei Vandals deve sostituire Chris che è impegnato con il suo nuovo gruppo, una delle principali grunge/rock bands mondiali, i Foo Fighters (dove milita anche Dave Grohl, ex batterista dei Nirvana); spesso infatti membri di altre famose band sostituiscono gli effettivi componenti dei Me First And The Gimme Gimmes, a causa dei frequenti impegni di questi ultimi con i loro gruppi principali: questo, unito ad una storia inventata inserita dalla band all'interno del libretto di una delle prime compilations a cui ha partecipato, ha fatto credere a molti che i Me First And The Gimme Gimmes siano nati negli anni '80 ed abbiano avuto nella loro precedenti formazioni altri "big" del punk, quali Billie Joe dei Green Day, Tim dei Rancid, Fletcher dei Pennywise, Brett dei Bad Religion e Ron degli Offspring, tra gli altri. Nell'estate del 2003 la band partecipa al Vans Warped Tour, mentre nel frattempo, in luglio, rilascia il nuovo album, "Take A Break", sempre edito dalla Fat Wreck.