刘备对孙尚香是持有戒备之心的。第一是政治集团的矛盾，孙尚香来自利益冲突一方；第二是性格使然，通过“侍婢百余人，皆执刀侍立”这一细节，可以看出“野蛮女友”孙尚香性格泼辣乃至有点骄纵，因此，刘备很担心孙尚香会对自己不利。整个刘备集团，不但不把孙尚香看成是“第一夫人”，而且都把她看成敌人。《三国志·蜀书·法正传》记载了诸葛亮的一段话——
主公之在公安也，畏曹公之强，东惮孙权之逼，近则惧孙夫人生变于肘腋之下。
从此我们可以看出，孙尚香与刘备之间不但没有爱情，而且连最起码的夫妻之情都没有，甚至，两人之间有着隐隐的敌意，远不是演义所描写的那样，刘备在东吴成亲之后沉醉于温柔之乡，连荆州也不想回了。
即使这样存有龃龉的夫妻情分，也只是维系了两年。公元211年刘备亲率大军西进益州，夫妻俩自此便天各一方，再也没有见过面。
耐人寻味的是，刘备进攻益州，并没有带孙尚香随军。这也说明孙尚香在刘备心里是可有可无的。作为当世英雄，刘备怎能忍受骄纵的孙尚香？于是刘备生出一个法子，让孙夫人在公安大本营以西另筑一城别居，她的卫队们也集中到了那里。这样一来，麻烦是少了，夫妻之间的隔阂则增加了。公安的孙夫人城遗址，是刘备与孙夫人失和的见证。
不过，刘备把刘禅留在了孙尚香身边，这倒不是他对孙尚香多么信任，而是因为孙尚香是正室。但是，刘备对孙尚香是高度戒备的，他不惜把“五虎将”之一的赵云留在公安担任留营司马。《云别传》记载，刘备留下赵云，是因为孙尚香骄横无礼，率领着吴地吏兵，纵横不法，而赵云严肃有威严，必能整肃孙尚香的部下。
这段记载还应该向更深处理解。孙尚香固然是“野蛮女友”，横行不法，但是作为刘备的妻子，她这样似乎也不算太过分，毕竟她属于特权阶层。再就是，也不见孙尚香的部下做出什么大不了的事情。刘备把自己称为“一身是胆”的赵云留在孙尚香身边做管家，很可能是担心孙尚香会做出对他不利的事情。从中我们还可以看出，虽然嫁给了刘备，但是孙尚香还养着一支从东吴带来的部队，其目的当然是为了对付刘备。两口子相互戒备之心如此之强，还谈什么感情呢！
后来事情的发展证明刘备对孙尚香的戒备是有道理的。孙权闻知刘备西征的消息，便派遣舟船来接走孙尚香，并让她将年仅4岁的刘阿斗带回东吴，其目的自然是将刘备唯一的宝贝儿子当人质，为东吴讨回南郡之地。后来张飞、赵云“勒兵截江，乃得禅还”，可见当时是强行从孙尚香处夺回阿斗的。从此，孙、刘联姻不欢而散。