刘显世的祖父刘燕山有四个儿子:长子官箴,字铭之,又号洪魁;次子官霖,字时之;三子官礼,字统之;四子官德,字茂之。刘显世的父亲刘官礼,行三。刘家兄弟四人,个个体格魁梧,膘悍有力,喜欢习武,性情粗暴;四人都是敢说敢干,说打就动手的火炮人物。兄弟四人且喜欢读书,初涉封建典礼。他们承继父业后,练勇办团,联合乡绅,勾结官府,镇压革命,屠杀人民,称霸一方,建立了盘江刘家小王朝。黔西南州《盘江史料辑》说:弟兄均魁梧奇伟,胆力过人,附近无不敬畏。刘燕山得诸子之力,家业日兴,渐为下五屯首户。其提倡号召,可以左右人心。刘氏兄弟,在自给自足的封建社会里,特别是在资本主义发展迟缓的贵州兴义县,商业资本得不到进一步发展。于是遵循封建社会的以末致富,以本守之的生财之道;放弃榨油,经营土地,善夺巧取,大肆兼并,逐渐成为下五屯的大户,富甲乡里。