есть подозрение, что лист с наанесенным желатином и раствором аммония стар (лежат уже наверно недели две)
Если лежат по отдельности, то нормально. Однако в желатин при приготовлении лучше добавить антисептик: тимол, фенол (карболовая кислота, карболка), салициловая кислота.
какой толщины должен быть слой желатина на листе?
После прочтения литературы и опытов, пришел к выводу что, при поливе надо брать раствора из расчета ~18-20 мл на лист бумаги 8х10 дюймов.
При нанесении кистью, следует наносить три слоя. Тут как получится

Очень жирно не надо делать.
Не очень понятна коцовка процесса, на матрицу наносится краска, а затем отпечатывается на бумагу?
Есть два варианта:
1. Оставить как есть.
Это и есть классическая масляная печать
2. Пока краска не высохла Перенести на другую бумагу при помощи пресса.
Это масляная печать с переносом. Впрочем и она классическая

Из плюсов второго подхода: можно несколько раз использовать одну и ту же матрицу.
Из минусов: нужен хороший прокатный пресс.