《女心理师》叶家辉每次出场几乎都伴随着阴森可怕的氛围，他究竟有怎样的秘密，也让人不由得好奇。叶家辉跟贺顿说他小时候被妈妈抛弃了，叶家辉妈妈当初为什么抛弃他？从叶家辉暗中跟踪姬教授，甚至还有点痛恨他的态度上来看，难道叶家辉的不幸童年跟姬教授有关？
叶家辉说他觉得自己七岁那年就已经死了，因为七岁那年，叶家辉的妈妈抛弃了他。叶家辉的扮演者王嘉也在微博上说，叶家辉的童年是充满恐惧与不安的，他有一个残缺不全的原生家庭。
叶家辉的父亲也是一名在医学方面颇有造诣的教授，他的母亲在他小时候离开了他。在滂沱大雨中，叶家辉的母亲上了一个男人的车，年幼的叶家辉一直哭喊着让妈妈别走，但妈妈还是头也不回离开了，而他则被那个男人推倒在地。这是叶家辉对母亲留下的最后回忆。
叶家辉跟贺顿聊到过双向情感障碍这个话题，盲猜叶家辉的母亲，或者是叶家辉本人就有这方面的心理问题。网友推测，叶家辉母亲当年应该找姬教授咨询过心理上的问题，而那个F档案中就有跟叶家辉母亲有关的内容，所以他才会想尽千方百计得到它。
不知是叶家辉母亲在咨询过程中喜欢上了姬教授，还是姬教授对她产生了反移情，所以她才会决定抛弃年幼的叶家辉，离开那个家。当然，可能是叶家辉单方面这么觉得的，说不定这一切只是一场误会。
姬教授说他这一辈子没爱过什么人时，叶家辉的反应特别大，很显然他对姬教授有怨恨，有误解。叶家辉母亲抛弃他，应该跟姬教授有一些关系，至少在叶家辉看来他是这么认为的，他可能觉得是姬教授破坏了自己的家庭。不过片尾中有一幕是叶家辉和姬教授一起坐在海边长椅上看日落的场景，也许他最后解开了心结。
