L'antico nucleo di Casée affonda le radici nella leggenda: si narra infatti che alcuni pastori del vicino borgo di Castello Cabiaglio, spintisi ad oriente in cerca di nuovi pascoli, si insediarono nella parte più alta dell'attuale Brinzio, detta appunto Casée, che nel dialetto locale significa "luogo della coagulazione del latte, per fabbricare il formaggio". Molti secoli fa Casée era sovrastata da un castello che dominava la via che portava da Brinzio a Ganna. La sua esistenza è provata infatti da un rogito del 1521 che aveva come oggetto il passaggio di proprietà dalle Romite di Santa Maria del Monte agli uomini di Brinzio di un palazzo fatiscente e di fabbricati minori.