违法建筑不一定都必须拆除，未取得建设工程规划许可证件或者违反建设工程规划许可证件的规定进行建设的建设者，且只有当违法建设达到“严重影响城市规划”的程度时，有关部门才能作出限期拆除的处罚决定。你想在你家耕地上盖一间房子，需要按照法定程序建筑，欢迎经常到农权律师事务所提问。

      法律依据：
    《中华人民共和国城市规划法》
       第四十条 在城市规划区内，未取得建设工程规划许可证件或者违反建设工程规划许可证件的规定进行建设，严重影响城市规划的，由县级以上地方人民政府城市规划行政主管部门责令停止建设，限期拆除或者没收违法建筑物、构筑物或者其他设施；影响城市规划，尚可采取改正措施的，由县级以上地方人民政府城市规划行政主管部门责令限期改正，并处罚款。