汉淮阳阳夏人，字次公，少学律令，历任廷尉正、颍川太守、丞相等职，以宽和、法平、力行教化著称。史载“自汉兴，言治民吏，以霸为首”。见《汉书·黄霸传》。后因以“黄霸”作称美州郡长官之典。贯休《贺雨上王使君二首》之一：“应须蚤勒南山石，黄霸清风满内庭。”
