Arnavut asıllı Koca Kasım Ağa, devşirme olarak İstanbul’a getirildikten ve belirli devlet kademelerini geçtikten sonra hasbahçeye alındı. Mimarlığı Davud Ağadan öğrendi. Adı ilk defa 1597 yılında Dikilitaş yakınındaki Validesultan Hamamının onarımı sırasında duyuldu. Mimarbaşı Hasan Ağanın ölümü üzerine 1622 yılında başmimarlığa getirildi. Altı ay süren bir çalışmadan sonra Topkapı sarayının en güzel kasırlarından biri olan, Sepetçiler köşkünü yeniden yaptı.
1598’de Mimar Davud Ağa’nın planı ile başlanan ve dört mimar tarafından tamamlanan Yeni Caminin yapımına yardımcı oldu. Yaşının ilerlediği yıllarda “Koca Mimar” adı ile anılan Kasım Ağa, mimarlık yeteneği ve çalışmalarından çok, o devirde saraydaki siyasi faaliyetleriyle ve vezirlere öğütler vermesiyle tanındı. Sultan Birinci İbrahim zamanında sadrazam Kara Mustafa Paşa’nın yakın dostluğunu kazandı. Kara Mustafa Paşa, Sultan Birinci İbrahim’in yönetimi sırasında öldürülünce, Kara Mustafa Paşanın yakınlarıyla birlikte Kasım Ağa’nın da malı mülkü elinden alındı ve Mimarbaşılıktan azledilerek, 1644 yılında Gelibolu’ya sürüldü. Sarayda nüfuzu artan Cinci Hocanın aracılığıyla, bir yıl sonra İstanbul’a döndü. Köprülü Mehmed Paşa’nın sadarete getirilmesine ve böylece Osmanlı tarihinde Köprülüler devrinin açılmasına sebep olan Koca Kasım Ağa’nın bu siyasi etkisi, mimar olmasından çok siyasi kişiliğinin ön planda kalmasına neden oldu. 1659 yılında vefat etti.