關於人力派遣公司面試 - 工作

最近在找工作，因此幾乎都是採取518人力銀行比較多，而事情是這樣子，由於我在現上投許多家公司的履歷，而今天早上接到一位女生打來的電話，內容大約是要約我去公司面試。
不過講話含糊不清，連公司還是地址都報不清楚，我當時也沒想太多就答應明天下午去面試，後來照他所給資料一查，原來是家人力資源中心，個人實在不太想去參加什麼人力派遣，想自己去找自己想要的工作。
想請問如果答應面試又不去會怎樣?因為感覺對方不太像正式的員工，比較類似打電話的工讀書，因為講話語氣等各方面都很隨便，再來就是有一種亂槍打鳥的感受，就是打電話給很多人相約去公司面試，這樣一來應該不去面試應該不會怎樣吧?請大家幫忙解答或給點意見。