客户开始直接去银行柜台找的客户经理，能否换掉客户经理呢?

可以，双方客户经理沟通好可以换管户客户经理，强制拿管户。