Четыре первых релиза группы на кассетах не являются частью официальной дискографии группы и в настоящее время считаются филофоническими редкостями. Однако эти записи можно скачать со многих полулегальных файловых серверов и из файлообменных сетей в Интернете.

Дебютный альбом «Mr. Bungle», изданный в 1991 году на лейбле-мейджоре Warner Bros Records, был спродюссирован известным джазовым экспериментатором Джоном Зорном (John Zorn). Сложно чётко определить жанровую принадлежность альбома. Структура и музыкальный стиль может резко меняться в пределах отдельной песни альбома «Mr. Bungle». Среди поклонников группы ведутся споры по поводу смысла названия заглавной композиции альбома, который можно перевести как «Открыть кавычки, закрыть кавычки» (англ. Quote Unquote), которая первоначально была названа «Траволта» (англ. Travolta — предположительно имея отношение к известному голливудскому актеру), но была переименована по настоянию компании Warner. По некоторым данным, это решение было спровоцировано угрозами судебного преследования со стороны Джона Траволты.

Второй альбом группы, «Disco Volante», изданный в 1995 году, выполнен в совершенно другом ключе. Это наиболее экспериментальная работа группы. Резкие и предельные переходы в музыкальных стилях на этом альбоме создали ему репутацию наиболее трудно воспринимаемой для слушателя работы Mr. Bungle.

Напротив, третий и последний альбом California 1999 года считается наиболее доступным для понимания. Жанровая стилистика также меняется на протяжении альбома, но менее часто и хаотично.

 Mit Gas - второй студийный альбом американской рок-группы Tomahawk, изданный в мае 2003 года на независимом лейбле Майка Паттона Ipecac Recordings. Песня "Capt Midnight" появилась в титрах видеоигры 2007 года The Darkness.