以小品建筑在建筑群中所占的位置来看，牌楼最先进入人们的视线。因为它往往被安置在一组建筑群前的显要位置上，或者立在一座城市的中心，或者在通衢大道的两头。它起到划分和控制空间的作用，增添了建筑群体的艺术表现力。
牌楼起源于建筑的院门。在古代城市中，大量存在的是里坊之门，在古代称为“闾”。中国古代有“表闾”的制度，就是把各种功臣的姓名和他们的事迹刻于石上，置于闾门以表彰他们的功德。据建筑学家刘敦桢先生分析，这种闾门上往往都书写着里坊的名称，而且按表闾的制度，将表彰事迹书写于木牌，悬挂在门上。后来这种牌坊模仿木构建筑，形式日趋华丽，加了屋顶和各种装饰，所以又称为“牌楼”。从形式上讲，凡柱子上没有屋顶的称为牌坊，有屋顶的则称为牌楼以示区别，本文则统以牌楼相称。
立于宫殿、寺庙、陵墓等建筑群前面的，称为标志性牌楼。这种牌楼占大多数，例如在颐和园万寿山前麓，排云殿建筑群最前面的“云辉玉宇”牌楼。凡是道路直对建筑门前的，牌楼也在大门的正前方；如果道路是横穿大门前的，则在门前道路两侧各立有一牌楼；如果前面和左右都有道路的，则前面及左右都有一座牌楼，它们和大门共同形成一个门前广场。老北京城在东、西城区中心的十字路口各建有四座牌楼，作为地区的标志，东四牌楼和西四牌楼就成了这两处市中心的代名词了。后来，市内交通发展，马路拓宽，这几座木牌楼因阻碍了来往车辆的频繁运行而被拆除，但这两个地方至今仍被称为“东四”和“西四”。
木牌楼是所有牌楼最初的也是最基本的形式，其装饰集中在屋顶和檐下的梁枋斗拱上。屋顶和一般木建筑一样，正脊两端用正吻，戗脊末端有走兽，檐下梁枋布满了彩画。这些装饰在北方皇家建筑群的牌楼上，多采用官式的规范做法，各间楼顶下的龙凤板上绘制龙纹或其他花饰，与该建筑群的身份相符，总体效果是五彩缤纷，金碧辉煌。
木牌楼加工制作方便，但一经风吹雨淋，极易受到腐蚀，所以后来才有了大量石牌楼和砖制牌楼的出现。
我们现在见到的大多数石牌楼，与木牌楼相比，不少细部上都进行了简化。孔庙前的“太和元气”石牌坊是四柱三间冲天柱的形式，在每间的上面，用一整块石料代替了几层额枋，再上面只盖有一块三角形的瓦顶形石料，省去了顶下的檐部，立柱下有抱鼓石，上面各有一蹲兽。在这里，除了象征性的屋顶外，其他部分可以说已经没有木结构的形式了。
石牌楼多为单色的石料筑成，所以它的装饰主要表现在雕刻上，很少用色彩来表现。但这并没有减弱它们的表现力，相反，有时用石雕表现的内容反而更丰富。山西五台山龙泉寺的石牌楼浑身上下都布满了雕饰，蝙蝠、如意、灵芝及各种仙果随处可见，屋顶正脊两端是腾飞的龙头，脊上满是盛开的花朵。这样华丽雕刻的目的就是要表现出那佛光普照的彼岸的一片繁荣景象。