希伯莱人从公元前536年起就开始意识到保护民族文化传统的重要性。一批有识的希伯莱先知为了保护民族文化传统和精神进行了一系列的宗教改革，家庭教育被看成是保持文化传统的一个重要环节，因而受到重视。公元前3世纪，会堂开始开办学校。
希伯莱最早承担教育责任的是希伯莱圣殿以及会堂，最早的小学也是从会堂中诞生。虽然会堂办小学受到社会上的欢迎，但却无法满足众多学龄儿童读书的要求。希伯莱人为了更好地教育他们的子女，在公元前1世纪，出现了会堂之外的小学。这些小学从识字、写字、读书开始，以启蒙教育为主。
公元前75年，耶路撒冷犹太教公会颁布广泛实施初级教育的条例，规定希伯莱社会必须资助公共教育，家庭必须送儿童入学。到公元64年，大祭司贾希瓦·本·卡纳拉重申每个市镇都必须设立一个学校，供6岁以上的儿童就学。6～10岁的儿童在老师的指导下，先学文字，后学希伯莱律法的初步知识，以《摩西五经》为基本教材。卡纳拉大祭司这个规定取得了一定的成效，可以视为希伯莱正规学校教育开始的标志。
从这一阶段开始，教育的内容从书面律法《摩西五经》转向口传律法，步入犹太教育思想发展的新阶段。其特点在于不拘泥于书面律法的字面意义，使人们在书面律法的内涵中发掘出数层含义，以适应不断变化的社会环境。有的学者还指出了另一个特点，即口传律法实现了从“神的语言”向“人的语言”的转变，这意味着犹太教育从宗教中心向社会中心的拓展。到3世纪，经犹大·海亲王审定，诞生了《密西拿》。后来又出现了对《密西拿》进行补充和诠释的《革马拉》，两者合并形成《塔木德》。从此以后，犹太教的圣卷不再是单一的《旧约》。《塔木德》与《旧约》一起构成了拉比犹太教的基石。犹太宗教生活从早期依赖于献祭崇拜转向依赖于人世间的道德行动和忏悔行为，进而使希伯莱教育重心从对神的虔诚向人世间道德转移，同时引起了希伯莱教育体制上的变革。
教育体制的变革促成了拉比学院的诞生，它是希伯莱教育体制变革的一大成果。在公元3世纪时，希伯莱人在遭受残酷镇压后学会了与罗马统治者和平相处。希伯莱人的族长被罗马当局认可为“王公”，享有某些自治特权。在犹大·海亲王领导期间，教长与拉比之间没有多少矛盾。随着拉比们对《密西拿》的解释以及把它运用于日常生活，拉比们开始在加利利等地建立独立的学术中心，其地位逐渐上升。起初是围绕个别哲人而建立的许多学术中心，后来逐渐相互联合而形成学院，以推动律法研究中的合作和辩论，这便是最早的拉比学院。到公元3～4世纪，巴勒斯坦一带已经建立了加利利、该撒利亚、齐波拉等学院。在巴比伦则有蓬贝迪塔、莫霍札等学院。巴勒斯坦的拉比学院以加利利学院为代表，而巴比伦的拉比学院被统称为萨珊波斯学院。
