父亲：大山八纲昌是炮术专家（萨摩藩士西乡隆充的次子，萨摩藩士大山纲毅的继子）。母亲是大山纲毅的女儿。他结过二次婚，第一个妻子是萨摩藩士，伯爵吉井友实的女儿。

长女信子，三岛弥太郎妻子，德富芦花著名小说《不如归》的悲剧女主角

次女美津子（夭亡）

三女人芙蓉子（嫁给细川润次郎的长子细川一之助）

四女止住孩子（渡边千秋妻）

后妻舍松（会津藩士山川重固的女儿）——岩仓使节团同行赴美的新政府留学女学生五女人之一

五女久子（井田磐楠妻子）

长子大山高（1908年澎湖诸岛海上事故死去）

六女久子（流产，或由于早产夭亡）

次子大山柏（考古学者）

堂兄西乡隆盛、西乡从道兄弟。兄弟大山成美、大山诚之助 。

大山岩家族还有两个名人，他的堂兄是日本历史上著名的悲剧英雄、“明治维新三杰”之一的西乡隆盛（美国影片《最后的武士》就是以他为原型的），可惜最终大山和西乡分道扬镳，一个成了“叛逆”，一个继续为帝国效忠。大山一生很在乎这个事，他再也没有脸回到家乡鹿儿岛。在家乡，西乡永远是英雄，而他才是叛逆。他和西南战争时一起站在政府一边的西乡隆盛的弟弟西乡从道是一辈子的死党。

大山岩家的另一个名人就是他第二个夫人，著名教育家山川舍松 ，这位大山夫人可是当时日本少有的“新女性”，是日本第一批留美五女性之一，冰雪聪明，才华横溢，在美国留学时和中国的铁路工程师詹天佑是同学（功课她几乎都是第一，詹天佑从来就没有在她眼前抬起过头来），她在美国住了11年。回到日本时是22岁，可是连日语也忘了怎样说（要学习数个月才恢复）。二十岁出头在古时候，已经是没人要的老姑娘了， 刚好大山岩亡妻，要找新的妻子，看上了她这个绝对新式的女性。舍松的成长期都在美国，所以思想变得十分美式。当时山川家的人都十分反对舍松嫁给大山岩，因为大山在会津战争时是炮兵队长，是在小田山设下大炮对若松城狂轰的指挥人。所以身为家长的大哥山川浩第一个反对。舍松的母亲也反对她嫁给仇人。最后在大山的苦苦哀求下。山川浩终于说：“随便你们。”传统的日本婚姻，家长同意就成了，女孩子的意见根本不重要。可是舍松是美国归来的，当然不同。舍松对大山的回应是，“不知道你是怎样的人，不能答复（婚事）。”舍松提出约会，于是两人一面约会一面谈自己经历。重点是两人的交谈是用英文，因为舍松听不懂大山的萨摩腔。经历多次约会，舍松觉得大山这人不错。在给好友艾丽斯的书信中舍松说：“即使家里怎样反对也好，我想嫁他。”当时认识还不到三个月。另一个留美的津田梅子都对舍松这么快结婚感到震惊。这一年鹿鸣馆设立，为促进法权条约改正，政府高官夜以继日招待外国人举办交谊舞会。舍松因曾在美国上流家庭生活，便指导政府高官学习西洋礼节和舞蹈。同时，她积极与外国人交际，成为鹿鸣馆外交的中心人物。甲午战争的时候，她的同学蔡廷干在威海卫被俘，蔡就托美国老师向大山夫人求情而获得释放，后来在北洋政府中做到海军总长。大山年轻的时候也是一个帅小伙，擅长长枪，晚年身重体胖，超过95公斤。被人呢称为“癞蛤蟆”。而且由于受西洋影响是个奢侈的美食家，煎牛排和法国红葡萄酒是最爱吃的东西，结果晚年被糖尿病困扰。他的妻子舍松给朋友的信：“主人越发胖，我越发消瘦了。”

大山对西洋文化的憧憬很强，造诣也深。据说跟舍松结婚的时候，婚宴请帖全用法语写成，让人们非常吃惊。当了陆军大臣后想把官邸改建成德国古堡。可是这个东西被他妻子骂为四不像。大山岩对这个新居很满足，不过舍松夫人担心自己的孩子未来，专门把自己的房子装饰成对日本式。“因为过分西式生活的话孩子不能适应日本的风俗。”