самое лучшее выделение контура -это вручную, магнитным лассо, кусочек за кусочком, чтобы не было углов. Там в intolerance или как-то так стоит 0, можно поставить 1, тогда контур слегка размоется и будет не таким резким.
по поводу фоток.. Надо экспериментировать с выдержкой и диафрагмой. Попробуй поставить приоритет диафрагмы (я не в курсе как точно он ставится и чем выставляется диафрагма, посмотри в инструкции или инете), для такого освещения диафрагма должна быть максимум открытой. Или с приоритетом выдержки (хотя мне кажется если ты поставишь маленькую выдержку чтобы получить резкий снимок не размытый, диафрагма будет автоматом маленькой а следовательно света попадет меньше..ну утверждать не буду, посмотри попробуй) или полностью в ручных настройках..
значение iso не должно быть больше чем 400, а в идеале вообще 200, тогда шума будет минимум.
Хотя некоторым нравится шум ;)
и еще - какой формат ты обрабатываешь и в чем? RAW или JPEG? В фотошопе в программе Camera Raw или лайтруме? и чем ты регулируешь?
пысы - от штатника в таком освещении в принципе большего не стоит ожидать, имхо. если хочешь фоткать без вспышки то нужен хороший светосильный портретник.