農地申請農舍，該筆土地為分割前已經被之前的地主申請過農舍 - 工作

老爸當年向一對兄弟的哥哥買了一塊地，該筆土地原為兄弟共同持有，哥哥沒錢作生意就把自己的那一部分土地給賣了，於是該筆土地一分為二變成老爸跟那個弟弟分別持有，但在哥哥賣地之前，弟弟已經以整塊農地去申請蓋了一間農舍。後來弟弟那部份的農舍跟土地也轉手賣了兩次。目前的地主正好是老爸那塊地另一邊隔壁的地主，隔壁的地主在自己的土地上蓋了工廠，也算是全村最會賺錢的人，老爸的土地剛好夾在他的工廠還有它的農地跟農舍中間。
那地主因為卸貨空間不夠想要買老爸的土地，加上我工作需要資金，老爸退而求其次要求與其換地，也就是把目前這塊地跟隔壁的農地與農舍做交換，這樣對方的土地與工廠便可相聯接，由於老爸的地坪數多，對方會補差額，而差額就夠我公司作投資。
對方要求交換條件為: 老爸拿著他們提供的未分割前農舍的建照與土地資料去申請我們這邊的農舍建照，完成後便辦理土地交換(說是交換其實是原本他老婆名下換成我老媽名下，原本老爸名下換成他們家另一人名下，應該也是法律規定)，已去代書那邊簽過合約，也拿了訂金五百萬，如半年內無法取得建照，此合約即失效，我方僅需退回訂金。
現在問題來了，幫老爸申請的建築師表示因高鐵緊鄰在該筆土地後面政策多變，還有一些因素，導致申請農舍建照要兩年後才能動工；老爸想拿土地去借錢還回訂金取消該筆交易，但對方想找更厲害的建築師去申請，經過了解他所謂更厲害的建築師即為老爸找的那個人的助理....亦即為兩年應該就是答案了。
所以除非對方答應取得建照後兩年動工仍願意交換土地，事實上他們很愛計較很愛出價，肯定會因此再要求降價，而且"聽說"如果他們以後不願提供原始農地建照與土地資料，日後老爸即無法取得農地建照，也就是說現在無條件取消買賣，可能日後他們鬧脾氣的話，我們要賣土地給別人或是自己要申請農舍建照便需要跟對方協商，這一點請各位達人幫忙解惑，到底是什麼資料會讓我們這個所有權人在自己的土地蓋房子還要得到別人的同意??
現老爸想跟建築師協議，因對方農舍資料在我們手上，可否直接拿這些資料去辦理可於兩年後蓋農舍的建照，然後提交給對方若其接受則交換土地，若不肯我們日後要建農舍也不會被他們給箝制，前提是這樣的動作有無違法?? 當初合約只說半年內辦理完成農舍建照，沒說是立即可蓋還是兩年後蓋的建照，這樣合約算完成嗎??若跟對方說無法辦理要取消交易，對方也蓋章同意取消，私底下用他們的資料先辦理好兩年後使用的建照，這樣有違法嗎??

因為老爸的地被夾在中間，而且他們有求與我們，對於應補差額又不斷砍價，對於這筆交易我傾向取消然後借錢投資，捨不得老爸為我跟人低頭。
請各位前輩幫忙解惑。因事情比較複雜，文章稍長，敬請見諒!!
Update:
感謝""老婆""的回覆!! 我忘記提出面積給各位參考，sorry~
當初弟弟是以整塊地約1500坪去申請農舍，目前對方買下的部份為600多坪含合法農舍，老爸的土地面積為960坪，如老爸要申請農舍應該是OK的，只是卡在對方那間買來農舍的面積要經過測量，所謂對方的農舍資料，我想主要也是要用來比對並限制老爸要申請的農舍大小。所以目前把他們的資料私自拿去比對農舍面積，並且未經對方同意申請老爸土地這部份的農舍，不知有無違法??
Update 2:
感謝""老婆""的補充。
目前老爸所請的建築師已經確定無法申請"現在就可以蓋"的農舍，只能申請兩年後蓋的，就看對方要不要接受了。