黃永玉這個“浪蕩湘西漢子”生於書香門第。黃家祖屋叫“古椿書屋”，是鳳凰有名的私塾館。當地文廟建起後，黃家還堅守文廟。

黃永玉的爺爺常年在外做事，曾幫熊希齡經營香山慈幼院。爺爺很有威望，偶爾回家一趟，吃飯時兒子們都在旁伺候，即使捱罵也要儀態恭敬。家裡有這樣一位老人，兒孫從不敢輕浮，都懂得掂量自己。黃永玉說∶“爺爺的嚴峻像明礬，讓一屋人的頭腦都清澈起來。”

爺爺難得回家一趟，請人吃飯時卻不請熟人。爺爺只想跟那些不相干的、有意思的人喝喝酒、看看花，說∶“人情中間，不留痕跡最好。

黃水玉後來成了爺爺的“忘年交”，發現爺爺其實很有趣。關於讀書，爺爺給他的教育與學校的不一樣：“學堂裡那些書讀下去是有用的。像砌增腳，但砌增腳不等於蓋房子，蓋房子要靠以後不停地讀課外書。然而有些讀書人，—輩子都在砌牆腳。”爺爺勸他多交朋友、多長學問，學堂考試過得去就行，不必爭做第一。爺爺還准許他隨便翻自己的書櫃，說：“多懂些稀奇古怪的知識還是佔便宜的，起碼是個快活人。”

爺爺不在時，家裡的氣氛最寬鬆。太婆心懷寬廣通達人情，常安撫在爺爺面前戰戰兢兢的孫輩。她很愛讀書，鼓勵兒孫精進學業，曾說：“我家不買田，買田造孽！塊硯田足夠了。”女傭不慎打破了家裡的魚缸，太婆一句責備的話也有，只說：“以後走路慢些，小心傷到自己。”其實那個魚缸是太婆的陪嫁之物，用了幾十年，她很是珍惜。

黃永玉的父親少時隨其父在外漂泊，走南闖北，見了很多世面，又得風氣之先受過西式教育。他後來回鄉做音樂老師，任文昌閣小學校長。黃永玉的母親是先進女性，在鳳凰擔任新創辦的女子小學的校長。黃父與黃母經自由戀愛結婚，之前家裡為黃父定的親事就吹了。那女好轉嫁他人，後來成了拖兒帶女的寡婦，黃父與黃母心地寬厚，時常幫襯她。

黃父溫和開通，很有修養，做每件事都會拿出藝術家的派頭。他從不打罵孩子，認為真正的教育是浸潤。黃永玉少時曾逃學八天，回家路上心驚膽戰，準備一有動靜轉身就跑。結果父親只是站在門口，微笑著向他輕輕招手。

黃母則個性鮮明，親自帶領學生上街遊行，自己抹個花臉扮成”帝國主義“。事後臉上花花綠綠洗不乾淨，她大大方方地說∶”這有什麼好笑的？戴上面紗就好。跟學生講清楚，也算對她們的教育！“

除了讀書，黃父還讓黃永玉拜師學拳，說∶”打拳既能強身也能練精氣神，好做個正派人。“後來家裡經濟條件差登了，如果碰上有人租院子教拳，黃父提出的條件是∶”不要租金，但要讓我的兒子跟著學。“黃母也有俠氣。街上來了一對逃荒的母女，黃母先把她們帶回家裡吃飽飯，然後去找縣長。結果縣長不管，黃母就讓她們在家裡做些雜事。在黃母的言傳身教下，黃永玉對廣大女性尊重並同情，還為那些被封建禮教束縛的女性發聲∶”那些賢惠，都該叫苦！“

後來時局動盪，黃家敗落，產業被一場火燒得乾乾淨淨。爺爺過世了，家裡七八口人等著吃飯，朋友勸黃父出去做事。黃父放心不下家裡，有些猶豫，黃母爽快地說∶”太平年月倒無所謂，如今這光景實在不能粘在一起，你要端出男子漢的派頭來！“於是黃父遠走他鄉。

黃母卻被學校辭退了，因為領導覺得她家事太多，無法兼顧工作。一家人吃穿都要等黃父每月託人帶錢回來，但後來那些錢竟被人吞了，黃永玉只好帶著弟弟坐到那人的家門口討賬。別人嘲笑他們穿得破爛，黃永玉心裡委屈，黃母說∶”你要有頭腦，想到自己是讀書人，再窮再苦也就不在乎了。“

無論過得多難，黃母總是樂呵呵地說∶”娘這前半輩子沒吃過苦，如今帶著你們‘步步頂上’，也算是件有意思的事，黃永玉所受的家教還有∶不說空話，吃飯時不出聲音，不拿別人的閃失開玩笑……這些對於日常小事的要求就像佛教裡的“戒行”，看似簡單卻自有厲害之處，能讓人在苦難歲月裡堅守心性。所以黃永玉的奇崛個性裡多了幾分正氣，使“奇崛”不只是一種表演性的姿態，而是一種底色踏實的真性情。