我在新公司入职也只有3个月，是做老板秘书，老板就把很多重要的工作交给我，还会安排很多我和他的共同出差，出差的时候会带我出去旅行，还会买几百千的礼物给我。但是他比我大20岁，和我爸爸年纪差不多了，我该怎么拒绝呢？又怕影响工作。。。