found this on another site, seems to be a good summary of this point

~につけ、~につけて（は）、~につけても
意味一：~するたびに｛每当~｝
接続：（動ー辞書形）＋につけ
例文：?家族の写真を見るにつけ、会いたくてたまらなくなる。
　　　?戦争のニュースを聞くにつけ、心が痛い。
慣用：?母は何かにつけて、小言をいう。
　　　?彼は何事につけても、注意深い人だ。
注意：文末には「~と思う」「~という気持ちになる」など心情を表す表現がくる。


意味二：~の場合にも、~の場合も｛~也好~也好｝
接続：（動ー辞書形、　形ーい、　名）＋につけ＋（動ー辞書形、　形ーい、　名）＋につけ
例文：?先輩の活躍を見るにつけ聞くにつけ、心強くなる。ーー（動ーー辞書形）
　　　?暑いにつけ寒いにつけ、うちのおばあさんは体の調子が悪いという。ーー（形ーーい）
　　　?雨につけ雪につけ、工事の遅れが心配された。−−（名）
注意：「~につけ」の前にはそれぞれ対比する言葉が来る。

I-adjective + につけ is also possible.

親は、暑いにつけ寒いにつけ、離れて暮らす子供を思い出し、心配するものだ。

There's also につけても. The meaning is the same as 「~に関して」 according to my Unicom grammar book or as 「~に関連して」 according to the Internet.

However if 何事 • 何 is placed before につけても, the meaning changes to "everything; anything; every time; always".

(1) 母は何事につけてもよく考えてから行動するけれど、父はその反対だ。
(2) 勉強でもスポーツでも何につけても大切なのは、長く続けることだ。
(3) 彼は何事につけても全力で取り組むので、評判がいい。

Edit: Nevermind. ダンディーダン already posted the same thing. ^^;;;