Либо нужно выстраивать отношения и искать общие интересы, или при том, что Вы описали, могут найтись желающие увести. Дети это не интерес. Он тоже заканчивается, когда дети вылетают из гнезда.
Это непривычно, обычно само собой у многих складывается. Но у меня есть подруга, которая выстроила всё обратно уже в период развода. Она просто планы писала по возвращению общих интересов. Хотя у каждого из них есть и свои ( муж рыбачит в свободное время). Так вот она прям списки писала, о чём поговорить и что обсудить. У них реально новые общие интересы и хобби тогда появились. Но там о раздражении речи не было.
А в причинах раздражения Вы не "ковырялись"? Я бы обязательно этим занялась. На это всегда и однозначно есть причины. Они могут быть связаны, как с Вашим отношением к нему, так и с гормональным фоном. Я бы списочек то, что раздражает с попытками понять причины составила однозначно. Причём я всегда стараюсь сделать это максимально честно и откровенно. Если сложно обсуждаю с подругой, которая также всегда откровенна и сразу находит ложь. Вы знаете, практически все люди себе лгут часто. Трудно признавать правду. Причина, по которой Вас муж раздражает у вас точно имеется. Если Вы её найдёте, Вы сможете с ней работать и устранять. Если нет, боюсь, что в браке проблемы будут нарастать, и найдутся желающие на Вашего мужа.