环境行政程序法中规定了行政行为责任的几种形式，包括行政机关应当对其行政行为承担法律责任、行政机关应当承担行政行为的法律责任、行政机关应当对作出行政行为的行政人员承担法律责任等。具体来说，行政机关对于违法的行政行为要承担相应的法律责任，包括赔偿受损害方的损失、恢复受损害方的合法权益、消除不当得利等。此外，行政机关还应当对作出违法行为的具体行政人员进行相应的责任追究，包括进行纪律处分、行政处分等。如果行政机关或行政人员的违法行为给社会造成了严重后果，还可能需要承担刑事责任。
为了避免或减少环境行政行为责任，管理者可以制定严格的规章制度，加强内部管理，确保环境行政行为符合法律法规。此外，管理者还可以进行员工培训，提高员工的法律意识和职业道德水平，避免出现违法行为。在实际操作中，管理者可以通过建立环境保护责任制度、加强环境行政程序的监督和审查等方式，有效降低环境行政行为责任的风险。
例如，某公司在进行环境治理时，由于未严格遵守相关环境保规，导致环境污染严重，受到了环保部门的行政处罚。在此情况下，公司应当承担相应的法律责任，赔偿受损害方的损失，并对导致违法行为的相关人员进行责任追究，避免类似情况再次发生。