怪儿不帅

我是广东汕头澄海的的一个公司职员。公司离澄海中学比较近，于是在下班后，学校放学的时间经常去学校运动，跑步，踢足球。
昨天在踢球，来了一个主任驱赶踢球的学生，同时要没收我的球。我说球是我的私人财产，而他就说学校规定不准踢球，并且我是外人不准进来。我想请问下学校的主任是否有权利驱赶我。由于我比较冲动的和他理论的两句，与是他打电话叫保安把我推扯了出去，我想请问保安这样的行为是否侵犯了我的人身权利。我是否可以用法律的手段来维护自己。