Создадим новое изображение, 400x400 пикселей. Закрасим фон в черный цвет (Alt+Backspace), предварительно определив его в панели инструментов. Перейдем к палитре Каналов (Channels), создадим новый канал , который назовем (двойной щелчок на представлении канала в палитре) Square.
 

Сделаем активным инструмент Прямоугольное выделение (Rectangular Mark Tool - M) и, удерживая Shift, нарисуем от центра изображения квадрат на 90% его площади. Теперь зальем его белым цветом (Alt+Backspace). В результате должно получится что-то похожее на рисунок слева.
 

Убедимся, что выделение все еще активно (если нет - кликнем на представлении канала Square, удерживая Ctrl). Перейдем к фильтру Gaussian Blur: Filter > Blur > Gaussian Blur. Введем значение 25 и нажмем ОК. Посмотрите, получилось примерно так, как на рисунке.
 

Теперь настроим Уровни (Levels): Image > Adjust > Levels. В диалоговом окне соединим правый и левый бегунок в точке первого Выступа (Spike) - см. рисунок. Нажмем ОК.
 

По завершению предыдущего шага Ваше изображение должно выглядеть примерно так, как продемонстрировано на рисунке. Не обязательно все в точности, но, по крайней мере, - очень похоже.
 

Последний штрих. Удерживая Ctrl, щелкнем по представлению канала Square в палитре Каналы (Channels), тем самым выделив его. Переключимся на палитру Слои (Layers) и создадим новый слой. Зальем выделение произвольным цветом и получим то, к чему мы стремились, - изображение со сгругленными краями.