明治20(1887)年9月、黒田は、伊藤改造内閣の農商務大臣となりました。黒田は、明治21(1888)年2月、明治14年の政変以来、長らく政府を離れていた大隈重信を外務大臣として入閣させることに成功し、大いに人心を驚かせます。
さらに、同年4月、憲法草案を審議する枢密院が設置されると、伊藤博文は、枢密院議長に転出、黒田が、第2代内閣総理大臣となります。閣僚は、そのまま留任し、農商務相の後任は、榎本逓信大臣が兼務しました。
なお、黒田は、大日本帝国憲法発布の翌日、明治22(1889)年2月12日、地方長官への演説で政党に左右されずに超然として政策にあたるとする「超然主義」の立場を表明しています。