Masjid Raya Al Osmani biasa disebut Masjid Raya Labuhan dibangun pada 1854 Oleh Raja Deli Ketujuh, Yakni Sultan Perkasa Alam dengan mengunakan bahan kayu pilihan. Kemudian pada 1870 Hingga 1872 Masjid Yang terbuat dari bahan Kayu itu dibangun menjadi permanen oelh Anak sultan Osman, Yakni Sultan Muhammad Perkasa Alam yang juga menjadi Raja Deli Kedelapan.
Beberapa Kali pemugaran terhadap bangunan masjid di kota medan ini telah dilaksanakan tanpa menghilangkan arsitektur asli yang merupakan perpaduan bangunan timur tengah, india, spanyol, Melayu dan China, ukiran bangunan bernuasa india, dan arsitektur bernuansa eropa, dan ornamen-ornamennya bernuasa Timur tengah.
Masjid Al-Osmani didominasi warna kuning, dengan warna kuning keemasan yang merupakan warna kebanggaan suku melayu, warna tersebut diartikan atau menunjukan kemegahan dan kemuliaan, kemudian dipadu dengan warna hijau yang filosofnya menunjukan keislaman.
Hingga kini, selain digunakan sebagai tempat beribadah, masjid itu juga dipakai sebagai tempat peringatan dan perayaan hari besar keagamaan dan tempat pemberangkatan menuju pemondokan jamaah haji yang berasal dari medan utara