Den Backofen auf 220 °C Ober-/Unterhitze (200 °C Umluft, Gas Stufe 4-5) vorheizen.
Die Kartoffeln schälen, waschen, in Scheiben schneiden und im kochenden Salzwasser etwa 15 Minuten garen.
In der Zwischenzeit die Knoblauchzehe mit dem Handballen zerdrücken und mit der Milch in einen Topf geben. Bei mittlerer Temperatur etwa fünf Minuten erwärmen.
Das Eigelb mit der Crème fraîche verrühren.
Die Kräuter waschen, trocken schütteln, die Nadeln bzw. Blätter fein schneiden und hinzugeben.
Die Milch vom Herd nehmen, von der Knoblauchzehe befreien und mit der Eiercreme verrühren. Mit Salz und Pfeffer würzen.
Die Kartoffelscheiben abgießen und die Eiercreme unterrühren (4 EL davon aufheben).
Die Oliven entkernen und vierteln, den Ziegenweichkäse in Scheiben schneiden.
Eine Auflaufform mit etwas Öl ausstreichen.
Als Erstes die Kartoffeln, dann die Oliven und zuletzt den Ziegenweichkäse hineinschichten.
Mit der restlichen Eiercreme bestreichen.
Das Gratin im heißen Ofen auf mittlerer Schiene 15 Minuten backen und in derheißen Form servieren.