我假期在淘宝开了个小店,碰到一态度极差的买家,最后交易我给了他差评。最近他到我店里恶意拍了物品,已经付款。我告诉他没货,让他退款。而他不但没退款反而给了我差评。我已经投诉对方。但我怕他再骚扰,请问我该怎么办?