堆叠假山和建造房屋一样，必须先做基础，即所谓的“立基”。首先按照预定设计的范围，开沟打桩。基脚的面积和深浅，则由假山山形的大小和轻重来决定。计成在《园冶》“立基”条中说：“假山之基，约大半在水中立起。先量顶之高大，才定基之浅深。掇石须知占天，围土必然占地。最忌居中，便宜散漫。”所以园林假山的堆叠必须从设计出发，做到胸有成竹，意在笔先，先确定假山基础的位置、外形和深浅等，否则当假山的基础已出地面，再想改变假山的整体形状，增加高度或体量，就很困难了。一般假山基础的开挖深度，以能承载假山的整体重量而不至于下沉，并且能在久远的年代里不变形的要求为原则。同时也必须做到假山工程造价较低而施工简易的要求。
假山工程的基础可分为陆地和涉水两种，在做法上又有桩基、灰土基础和混凝土基础之分。桩基这是一种最古老的假山基础做法，《园冶·掇山》说：“掇山之始，桩木为先，较其短长，察乎虚实。”尤其是水中的假山或假山驳岸，用得较为广泛。其原理是将桩柱的底头打到能接触到水下或弱土层下的硬土层，以形成一个人工加强的支撑层，桩柱在假山基础范围内均匀分布，这种桩称为“支撑桩”。平面布置按梅花形排列的则称“梅花桩”；用以挤实土壤，以加强土壤承载力的，则称之为“摩擦桩”。桩柱通常多选用柏木或杉木，以取其通直而较耐水湿。
桩粗一般在10～15厘米左右，桩长一般在100厘米以上至150厘米以上不等。如做驳岸，少则三排，多则五排，排与排之间的间距一般在20厘米左右。在苏州古典园林中，凡有水际驳岸的假山基础，大多用杉木桩，如拙政园水边假山驳岸的杉木桩长约150厘米；而北方则多用柏木桩，如北京颐和园的柏木桩长约160～200厘米。
桩木顶端露出湖底十几厘米至几十厘米，其间用块石嵌紧，再用花岗岩条石压顶。条石上面再用毛石和自然形态的假山石，即《园冶·掇山》所云：“立根铺以粗石，大块满盖桩头”。条石和毛石应置于最低水位线以下，自然形态的假山石的下部亦应在水位线以下，这样不仅美观，也可减少桩木的腐烂，所以有的桩木能逾百年而不坏。
除了木桩之外，也有用钢筋混凝土桩的。由于我国各地的气候条件和土壤情况各不相同，所以有的地方，如扬州地区为长江边的冲积砂层土壤，土壤空隙较多，通气较多，加之土壤潮湿，木桩容易腐烂，所以传统上还采用“填充桩”的方法。所谓填充桩，就是用木桩或钢杆打桩到一定的深度，将其拔出，然而在桩孔中填入生石灰块，再加水捣实，其凝固后便会有足够的承载力，这种方法称为“灰桩”；如用碎瓦砾来充填桩孔，则称为“瓦砾桩”。其桩的直径约为20厘米，桩长一般在60～100厘米，桩边的距离为50～70厘米。
苏州地区因其土壤粘性相对较强，土为基础方法，称为“石钉桩”，再在缝隙中夹填碎石，上用碎砖片和素土夯实，中间铺以大石块；若承重较大，则在夯实的基础上置以条石。北京圆明园因处于低湿地带，地下水成了破坏假山基础的重要因素，包括土壤的冻胀对假山基础的影响，所以其常用在桩基上面打灰土的方法，以有效地减少地下水对基础的破坏。
灰土基础：某些北方地区，因地下水位不高，雨季比较集中，这样便使灰土基础有个比较好的凝固条件。灰土一经凝固，便不透水，可以减少土壤冻胀的破坏。所以在北京古典园林中，对位于陆地上的假山，多采用灰土基础。灰土基础的宽度一般要比假山底面的宽度宽出50厘米左右，即所谓的“宽打窄用”。灰槽的深度一般为50～60厘米。
2米以下的假山，一般是打一步素土，再一步灰土。所谓的一步灰土，即布灰30厘米左右，踩实到15厘米左右后，再夯实至10厘米多的厚度。2～4米高的假山，用一步素土、两步灰土。灰土基础对石灰的要求，必须是选用新出窑的块灰，并在现场泼水化灰，灰土的比例为3∶7，素土要求是颗粒细匀不掺杂质的粘性土壤。
混凝土基础：近代假山一般多采用浆砌块石或混凝土基础，这类基础耐压强度大，施工速度快。块石基础常用没有造型和没有多少利用价值的假山石，或花岗岩毛石、废条石等筑砌，所以也称毛石基础。这种基础适用于中小型假山。其基础的厚度根据假山的体量而定，一般高在2米左右的假山，其厚度在40厘米左右；4米左右的假山，其厚度则在50厘米左右；毛石基础的宽度应比假山底部宽出30厘米以上。
毛石需满铺铺平，石块之间相互咬合，搭配紧密，缝隙用碎石及150～200＃的水泥砂浆或混凝土灌实作平，使它连成整体。堆叠大型假山则常采用钢筋混凝土板基础，先需要挖土到设计所需的基础深度，人工夯实底层素土，再用150～200＃的混凝土做厚7～10厘米的垫层，然后再在上面用钢筋扎成20厘米左右见方的网状钢筋网，最后用混凝土浇注灌实，经一周左右的养护后，方可继续施工。
在假山施工中还有“拉底”一说。所谓的拉底，就是在假山基础上叠置最底层的自然假山石的术语，其正如《园冶·掇山》所说的：“方堆顽夯而起，渐以皴文而加。”选用顽夯的大块山石拉底，具有坚实耐压、永久不坏的作用，同时因为这层山石大部分在地面以下，小部分露出地表，而假山的空间变化却都立足于这一层，所以古代叠山匠师们把拉底看作是叠山之本。
其要点：一是统筹向背，即根据设计要求，统筹确定假山的主次关系，安排假山的组合单元，再来确定底石的位置和发展体势。
二是曲折错落，即假山底脚的轮廓线一定要打破直砌僵硬的概念。三是断续相间，即假山底石所构成的外观，不是连绵不断的，选石上要根据大小石材成不规则的相间关系安置，以为假山中层的“一脉既毕，余脉又起”的自然变化作准备。四是紧连互咬，虽然外观上有断续变化，但结构上却必须一块紧咬一块，具有整体性。五是垫平安稳，以便于继续施工。