环境行政程序法规定了对行政机关的违法行为有一定的处罚措施，主要包括以下几点：
1.责令改正：当行政机关的行为违反了环境法律法规或者损害了环境资源时，相关主管部门可以责令行政机关立即改正，并限定改正的期限。
2.责令停止违法行为：如果行政机关的行为严重违反了环境法规，危害环境资源，直接责令其停止违法行为，并可以对其进行警告、罚款等处罚。
3.罚款：当行政机关的违法行为造成环境污染、破坏生态环境等后果，相关主管部门可以对其处以罚款，并根据违法行为的性质和情节确定罚款数额。
4.行政处罚：对于严重违法行为，行政机关可能会面临行政处罚，如行政警告、行政罚款、责令停产停业等。
5.追究行政责任：行政机关负有保护环境资源的责任，如果其行为导致环境污染、生态破坏等严重后果，相关主管部门可以追究行政责任，包括对直接责任人员进行问责。
总的来说，环境行政程序法对行政机关的违法行为设立了一系列处罚措施，旨在保护环境资源、维护生态平衡，提高行政机关的环境管理水平和责任意识。