应该怎样委婉拒绝一个总打电话给我的男的呢？

LZ和一个男的网上以交往为目标认识， 加QQ聊了一个多月，其实也没有很深入地聊过， 他每天都会和我打招呼，我都是基于礼貌地回复再寒暄几句。 上星期某一天下班的时候，他约我吃过一顿饭， 他住得很远，我必须坐到郊区之后，他开车过来接我，带我到更远的他那附近吃。 其实我一般晚上很少出门的，但是他邀请过几次了，不好意思再推，于是就去了。 基于礼貌我觉得应该到我那附近吃，或者到至少到市区吃饭的， 他没怎么问我的意见就开着车去了遥远的他那边去了， 我是有点担心的，第一次见人，还跟人去这么远的地方。 去到那边之后，也没有到什么地方，竟然是去了一个酒楼吃， 楼主不是一个很计较的人，但是这样的一个人声鼎沸的酒楼真的让我很无语。。 九点半的时候，我让他送我回地铁站，我坐地铁回去了。。。 然后他就由原来的每日QQ问候，变成打电话给我了。 先说明一下，LZ由于工作的原因，每天和很多客户联系的，所以对接电话不是很喜欢， 另外LZ单身很久了，对接异性这种无话找话聊的感觉有点反感。 而且这个男的虽然好像是很关注LZ，经常在我的签名后面留言， 但是他经常理解错我的意思，接的话也游离十万八千里的， 一点也没能说到LZ的心里面去的。 他还暗示LZ太骄傲了，不接受人之类的意思。 LZ年纪不小了，但是对他真的不是很来电，他的电话晚上都打来几遍了， 我都不想接，但是又不知道如何拒绝 人家又没明确说过什么，我又怎好意思先说