1928年4月,作为国立清华大学国学研究院研究生的吴金鼎,到离龙山镇城子崖遗址不远的汉代平陵城遗址作假期野外考察。他途经龙山镇城子崖,不经意地回头一望,路沟边断崖的横截面引起了他的注意,在阳光下一条延续数米的古文化地层带清晰可见。翌年7月至10月,吴金鼎对城子崖及周围地区共进行了四次调查,先后在城子崖采集到陶片、骨笄和磨光石斧,陶片中有磨光黑陶片,他称作“油光黑陶片”,以前没有见过,他认为这是一处重要的新石器文化遗址。吴金鼎很快就将自己的发现报告给了他的老师李济先生。被人称为“中国考古学奠基人”的李济先生是中国第一位人类学及考古学博士,正是他在1930年主持了城子崖遗址的第一次大规模发掘。就这样,城子崖考古取得了重大的成果———发现了龙山文化。
1930年,蒋、阎、冯中原大战爆发,殷墟的发掘无法进行,发掘工作就转向了山东。经过一番深思熟虑,决定先对城子崖遗址进行发掘。1930年秋,中研院和山东国民政府共同组成山东古迹研究会,由中研院史语所所长傅斯年任主任委员,史语所考古组主任李济任田野工作主任,省方委员王献唐任秘书。同年11月进行了发掘,翌年10月再次发掘,历时共51天,共开探沟约90条,合计发掘面积1900余平方米。中间梁思永由美国回国,参加了1931年的发掘,在发掘中初步运用了考古地层学原理,在中国考古学上最早绘制了地层图。
城子崖发掘果然发现了和彩陶文化截然不同的黑陶文化,不久即以其所在地龙山镇命名为龙山文化。一些迹象表明,它代表着一种文化体系,有些器物如卜骨、版筑夯土等,可以和殷墟文化作比较。这使他们感到,在东方春秋战国时期的齐、鲁地区,发展着构成中国最早期历史文化的“最要紧的成分”。他们认为,如果能查明城子崖黑陶文化的发展脉络和范围,“中国黎明期的历史就可解决一半了”。至今来看这些说法,竟也未离大谱。
城子崖遗址的发掘,是中国国家学术机构、中国考古学者首次对史前遗址进行有计划、有目的的大规模发掘,也是中国考古学最早的比较科学的发掘,发掘后期运用了考古地层学原理,区分了不同的土色土质,绘制了地层图;把该遗址的文化堆积区分为黑陶文化和灰陶文化两期;发现了黑陶文化期和灰陶文化期两座城址;发现了黑陶文化和灰陶文化的卜骨;1934年出版了中国考古学的第一部田野考古专刊《城子崖——山东省历城县龙山镇新石器时代遗址》。总之,城子崖遗址的发掘为中国史前考古的发展铺垫了重要的基石,动摇了中国文化西来说,城子崖遗址因此获得“中国考古圣地”的殊荣。1961年被国务院公布为全国第一批重点文物保护单位。