藤、川が大学の音サクルで前身となるバンドをむ。その後ヴォカル、ドラムが脱退したため、川が幼染みである藤をヴォカルにう。さらに藤の知り合いであった川崎がドラムとして加入し、四人で下北、谷界隈でライヴ活を行う。
2003年7月、3rd Stone Recordsよりミニアルバム「LOVE LOVE LOVE」でインディズデビュ。そのころから佐藤がライブに参加するようになり、以後、在のツインドラムの成となる。
2005年5月、ビクタエンタテインメントSPEEDSTAR RECORDSよりアルバム「Thank you, Beatles」でメジャデビュ。音などのメディアからは「60年代のロックの王道サウンドに90年代のグランジ要素がみ合った唯一比で妙な音」とされる。
2010年2月、バンド名の表をアルファベットのみのHiGEに更。
2010年3月、田茂一がメンバとして加入。
バンド名は2000年ごろ、後から加入してきた藤が前身のバンド名（「クロックワクス」。前身のドラマが命名したらしい）がに入らず、「髭」に更した。「髭」にした理由は、「字の形が格好いいから」などの言があるが真は定かではない。