傳說古時候，有一群身高不足三尺的小矮人，賽夏人稱之「達隘」，和賽夏族人族隔大東河而居。矮人聰穎過人，常指導賽夏族農耕漁獵編織的技能。但酗酒後的矮人卻喜歡調戲婦女，賽夏族族人懼怕矮黑人施行巫術，敢怒不敢言，因此對於矮人一直是又愛又恨。

    在一次豐年祭時，賽夏族人不堪長期遭受凌辱的痛苦，遂設計消滅矮人。賽夏族人暗中將兩族交界懸崖上矮人休息的大樹底部切去大半，塗上泥巴偽裝。矮人於歌舞後，一一攀上大樹休息，隱藏的賽夏勇士，這時擁出推倒大樹，矮人便掉入了山谷深淵。倖免於難的一對矮人老夫婦，雖知道中了賽夏人的詭計，但人單勢薄也無可奈何，因此忍悲傳授祭歌及儀式，告誡賽夏族人須每年祭拜矮靈，否則必有災禍，即朝東方離去。
矮人滅亡後，賽夏人解除了痛苦，可是農收、漁獵開始欠收，連年飢荒，大家便認為是矮靈作祟，於是為請求矮靈的原諒、慰藉矮靈，乃開始舉行矮靈祭。矮靈祭本為每年一祭，時間在稻熟之後的農曆十月中旬，日據時代日本人怕賽夏族藉此聚集謀反，故改為二年一小祭，十年一大祭。賽夏族南北兩族群，以鵝公髻山和橫屏背山為界，南祭場設於苗栗南庄的向天湖；北祭場位於新竹五峰大隘。

    廿幾年前矮靈祭典期間是禁止外人介入及參觀，也無一絲燈光，充滿了神秘性。近年來因媒體的報導，其中娛靈的儀式對外開放並漸有觀光化的趨向。但在賽夏人的心目中依然有濃厚的文化意涵，及維繫族人向心力的功能。

矮靈祭祀分為迎靈、娛靈、送靈三部
靈祭期始，第一天稱humabus「告解」，用以化解族人間或與外族的糾紛，是延續祭典要求和諧之一貫精神。分豬肉保傳統部落共食之特色，其蘊含的互助精神。請靈為humabus當日最重要之儀式，告知矮靈祭典來臨，再由各姓長老供奉豬肉串、糯米酒，向東方虔敬祝禱以召請矮靈。迎靈時，每人的頭頸手足，及家中的樑柱門棟、家具、倉庫等，都要綁上一根芒草，據說，如此方可防止矮靈作祟，如有客人來訪，也要入境隨俗，由族中的長者，為客人綁上芒草。

    第二天開始一連三夜的「娛靈」，是矮靈祭的高潮。一大早，住在南庄、獅潭的賽夏族人扶老攜幼邁向向天湖，在盆地的小平原上祈求矮靈的保佑。黃昏時，祭典正式開始，首先由總主祭率領小主祭，跪在靈屋內，口唸咒語延請矮靈降臨。然後，總主祭與小主祭挽手唱歌，緩緩從靈屋內跳舞出來，進入廣場後，所有的族人加入舞圈一起共舞。在歌舞狂歡中，各姓均會派一名勇士扛著代表自己姓氏的方形神傘（奇刺奇里），不停的舞動。神傘用鮮麗的彩布製成，正面除了寫有慶祝矮靈祭的名姓字樣，並綴有許多亮片和小鏡子，這面鏡子，代表東方和太陽。祭典進行時，並由朱姓頭目持用鹿仔樹皮及藤條編成的神蛇施法，神蛇（賽語稱哇武督）長約三公尺，當烏雲遮月或濃霧籠罩時，他們認為係矮靈作怪，用神蛇對空鞭打，發出噠噠聲，即可使雲消霧散。施法者必為朱姓頭目，其他姓氏是不能碰神蛇的，否則，惡運當頭。

    第三天晚上，跳的豐年舞（巴巴瓦塞舞），追念祖先及感謝矮靈的庇佑，並祈求稻粟豐收，合境平安。

    第四天傍晚舉行謝靈儀式，跳「巴巴奧利舞」，酬謝神霽。這三天的歌舞，均從黃昏一直跳到翌日清晨，連續不斷，跳累的躺在草坪上，略事休息後再上場。年輕男女山胞，也可藉歌舞彼此相識相知。說起來，賽夏族人矮靈祭，除祭神外，尚含有多重意義在內。

    最後一天破曉開始「送靈」。當舞隊星散後，朱姓兩名勇士將砍下的榛樹取下，拋向東方，示意逐走矮靈，整個矮靈祭才告落幕。

    矮靈祭的祭歌，在台灣山胞歌謠中，佔有獨特的地位。此不僅就其本身的價值而言，即使作為文學作品看，也代表極為發達的型式。歌詞共分十六章三十六節，每節句數雖不等，但每句均含七音節，句末押韻，詩型整齊。唱祭歌時必伴舞。祭儀到某一階段，必唱某一歌章，行某種儀禮，各有一定。歌舞轉折停頓，幽深悲涼，顯露出賽夏族人對矮靈的那份恩怨交錯情懷及原始部族巫術宗教的神秘氣氛。