Dan Yemin, ex membro dei Lifetime, è alla ricerca di musicisti per creare un nuovo gruppo: un suo amico gli consiglia, come bassista, Steve Ferrell, un ragazzo che lo stesso Dan conosce da quando ancora i Lifetime erano in vita. Steve crea così, insieme a Dan alla chitarra, il primo nucleo della nuova band, ai quali presto si aggrega, su richiesta di Dan, David Wagenschutz come batterista, anche lui ex componente dei Lifetime: nascono così nel maggio del 1997 a Filadelfia, in Pennsylvania, i Kid Dynamite. La band prova per lungo tempo vari cantanti, senza trovarne però uno che li soddisfi pienamente, e per un certo periodo suona anche con un secondo chitarrista, che però lascia il gruppo dopo non molto. I Kid Dynamite non trovano la definitiva formazione fino al marzo del 1998 quando Jason Shevchuk, un ragazzo loro concittadino, si unisce al gruppo come cantante. I Kid Dynamite iniziano così a fare sul serio, registrando presto un demo e firmando poco dopo un contratto con la Jade Tree Records, per la quale nel settembre del '98 registrano al Trax East Studios di South River, nel New Jersey, il primo album omonimo, che esce in ottobre. Poco dopo Steve lascia il gruppo, e viene sostituito da Michael Cotterman, con il quale la band registra due nuovi brani ed una cover di "Rise Above" dei Black Flag per uno split con gli 88 Fingers Louie, che esce per la Sub City Records, una sottocasa della Hopeless Records. Una parte del ricavato dell'album, che esce nel giugno del '99, come succede per ogni produzione della Sub City viene devoluto in beneficenza, in questo caso per la lotta alla sclerosi multipla. In settembre i Kid Dinamite registrano, ancora al Trax East, un nuovo lavoro, "Shorter, Faster, Louder" (che contiene 18 canzoni in meno di 25 minuti), ma prima che questo venga rilasciato Jason, nel gennaio del 2000, decide di lasciare il gruppo per inseguire il suo sogno di diventare regista (ha terminato gli studi per diventarlo qualche tempo prima). Jason scriveva praticamente tutti i testi del gruppo e, anche per questo motivo, gli altri membri decidono di sciogliersi: esce comunque ancora, in febbraio, "Shorter, Faster, Louder", edito sempre dalla Jade Tree, mentre qualche giorno dopo, il 19 febbraio, la band suona un ultimo concerto d'addio.