老祖宗在寻找失踪的儿子时看到了那些曾经意气风发挥斥方遒的少年们现在变得如此落魄无依，就专门寻了此处山谷让他们隐姓埋名却有了安身之所。後来这里陆续开垦了田野，种上果树，定时会有人把东西运到集市上去换了钱，生活开始一点点被改善。而要男人们振作起来，就要给他们一个像样的家，得有女人有孩子才行。
而普通人家的女儿是不会嫁过来的，来到这里的女人都是那些被流放的罪臣家眷，其中不乏一些容貌品行都上乘的贵妇和闺秀。在她们被送到军营後，就会有人调查她们的品行，性情和经历，选出适合送入青云寨的写入名单。因为不能直接带走她们，所以头个月还是在军营里被鸨母教著如何当军妓，如何张腿服侍男人，伺候那些军妓们，暂时不接客。一个月结束後，在开始接客前，就有专门的人私下来找她们，允诺了只要自愿来给这里的男人做共妻，为他们生儿育女，决不逃跑就可以不入贱籍不接客。
被选上的姑娘妇人都是念过些书，了解自己处境，识大体识时务的人儿，经历了一个月的挨打挨骂和耳濡目染，对这跟整日里被不同男人轮番发泄操弄的生活几乎绝望得要认命时，能有这麽一个机会自然是要抓住的。於是每三年都有十来个女子被秘密送入青云寨，按性情品格送给适合的人家做夫人。