灰胡子的一切起源于第一纪元416年。在这一年，自伊斯格拉默时代以来不可一世的诺德人终于在东方遭遇了前所未有的惨败，在与凯莫-锻莫联盟第一议会的交锋中全军覆没，势力就此退出晨风。而于此同时，让天际精疲力竭的继承人之战才刚刚步入尾声。经历了如此多的血腥争斗后，一位当时的著名战争领袖，约根唤风者（jurgenwindcaller）对诺德的失败作了反思，经过七年的思考，他认为是诺德对于天空女神凯娜瑞丝赐予诺德的力量：龙吼的滥用导致了诺德的惨败，并创立了被称为”吼声之道”（wayofthevoice）的思想。之后，凭借自己的力量，约根又先后说服/击败了十七位当时的诺德吼声大师------这几乎是当时诺德的全部龙吼技艺的掌握者了，使他们信服了他的思想。最终，约根来到泰姆瑞尔最高峰---世界之喉（霍斯加高峰），在这里建立了“灰胡子”组织，将龙吼这一技艺彻底从诺德人中隔离出来。经过几千年的发展，到至少第二纪元时期，诺德人中除了灰胡子，已经无人再会龙吼。

    自成立以来，灰胡子与泰姆瑞尔少有接触，但当他们出现时，往往都是大事。在第二纪元572年的第二次阿卡维尔入侵时，诺德传说是他们召唤出了武夫哈斯伊斯米尔（或者是传授给了诗人王乔伦召唤方法）领导诺德人反击入侵者。在第二纪元末期，他们召唤塔洛斯来到世界之喉，并宣布其为龙裔，这也是明确记载中灰胡子第一次从世界之喉召唤某人。在第四纪元201年，他们召唤了最后的龙裔，帮助其对抗归来的龙族。

    在外人眼中，灰胡子像是一个隐士宗教团体，人员稀少，组织十分松散，彼此间身份平等，成员年龄普遍较大。平日绝大部分时间，灰胡子过着隐居的生活，外人少有机会与其接触，只有世界之喉山脚下的居民不时为其送去补给，还有天际的朝圣者，贵族不时会拜访他们（但少有机会真正见到）。个别的幸运儿，因其有学习龙吼的天赋会被灰胡子选中，从而有机会加入这一组织。

    对于龙吼，灰胡子一直秉持约根唤风者创立的吼声之道：龙吼的力量主要应用以礼敬神明，修身养性，而绝不可擅自用于凡间的纷争，因此除了组织内部，以及极其特殊的例外（如塔洛斯和龙裔），灰胡子拒绝将龙吼的奥义外传，而迄今为止，他们也是泰姆瑞尔在龙吼方面的唯一权威，以及唯一会传授此道的群体了。

    同样，灰胡子对泰姆瑞尔一切政治争端等皆敬而远之，甚至包括一些特殊事件（如位面融合，湮灭危机等）也几乎不参与，秉持着隐式原则。据说即使是塔洛斯，灰胡子当初也并不赞成其称霸泰姆瑞尔的帝业计划。

    虽然隐世，但在各种对灰胡子的描述中，都认为他们是谦和有礼，博学智慧的长者，与传统诺德人的形象大相径庭，即使外族也可以与其平和交流，也正因其良好的形象以及所掌握的强大力量，灰胡子在整个泰姆瑞尔，尤其是天际，都受到普遍的尊敬。

    上古卷轴5所在的第四纪元201年，灰胡子由四个人和一条龙组成，四个人分别是艾恩盖尔、爱纳斯、博瑞、沃夫加，四个人过去的身世不可考；而那条天际省仅剩的龙叫做帕图纳克斯，它也是自约根·唤风者以来所有灰胡子的领袖。它曾是世界吞噬者——奥杜因的左膀右臂，在神话纪元时与其他龙类一起屠戮人类，之后在巨龙战争时背叛奥杜因，协助人类英雄们最终使用上古卷轴放逐奥杜因。从此之后它留在世界之喉最高处修习吼声之道，试图通过修行来压抑血液中的杀戮本能。它在最后的龙裔使用净空龙吼来到最高峰时给予了他很大的帮助和指引，最后协助最后的龙裔彻底杀死了奥杜因。