Вы пропустили одно очень важное слово. Не думаю, что Вас кто-то уполномочил говорить за всех.
В правильной редакции Ваша фраза будет выглядеть так:
А никто их не оскорбляет, просто авторитет их для меня