Від перших камер до нейромереж: історія мобільної фотографії

Виробники смартфонів давно змагаються в якості мобільних камер. Їхня кількість і функціонал — найважливіші показники для сучасних гаджетів. Як почалися ці перегони? У нашому матеріалі ми розповімо про появу та розвиток мобільної фотографії. Ми розглянемо знакові гаджети та найважливіші технології.

Перші камерофони

Перший у світі телефон із камерою з’явився в 1999 році. Японська корпорація Kyocera представила модель VP-210 . Стільниковий мав лише одну камеру — фронтальну.

Навесні CNN вперше розповіла про новинку — а вже в липні Kyocera VP-210 надійшов у продаж. Його ціна становила 325$.

Роздільна здатність матриці дорівнювала 0.1 Мп, у пам’ять телефону зберігалося не більше 20 знімків. Якість одержуваного зображення була, м’яко кажучи, невисокою, але й створювали камеру насамперед не для фотографій, а для відеозв’язку з частотою два кадри на секунду. При цьому стільниковий підтримував інтернет-з’єднання. Тож користувач міг ділитися фотографіями через електронну пошту.

Керівник відділу маркетингу Kyocera Хаджіме Кімура вважав, що телефон з камерою по-справжньому оцінять бізнесмени і роботяги.

Користувачі можуть використовувати цей телефон не тільки для візуального спілкування зі своїми колегами, а й для ділових цілей. Наприклад, якщо будівельник приносить цей телефон на об’єкт, що будується, він може показати, який вигляд має об’єкт, людям у штаб-квартирі, які використовують цей телефон. Вони можуть вести бізнес, перевіряючи ситуацію в режимі реального часу

Хаджіме Кімура

Взагалі, у дев’яності багато хто вів розробку мобільників із вбудованими камерами. Так, у 1993 році Деніел А. Хендерсон створив Intellect — прототип пристрою з технологією бездротового відеотелефону. Сьогодні він зберігається в Національному музеї американської історії. Ідеї створення відеофона були й у компанії Apple. Але саме Kyocera вдалося створити першим у світі телефон із камерою.

Утім, першість Kyocera досі намагаються оскаржити в Samsung. У 2019 році корейська корпорація випустила статтю, де стверджувалося: першим телефоном із вбудованою камерою був Samsung SCH-V200.

Характеристики SCH-V200 більш вражаючі — 0.35 Мп проти 0.1 Мп у Kyocera. Оснащувався гаджет кольоровим дисплеєм діагоналлю 1.5 дюйма. Вбудована пам’ять в 1 Мб зберігала до 20 повнорозмірних фотографій у форматі 640×480 (або 26 фото в зменшеній версії). Передавати фотографії за допомогою електронної пошти телефон не вмів, їх можна було перекидати на ПК за допомогою комплектного кабелю.

У 2000 році японська компанія Sharp представила свою версію мобільного телефону з камерою — Sharp J SH04 (J-Phone) .

Камера в Sharp J SH04 переїхала з фронтальної частини в тилову. Роздільна здатність матриці у неї дорівнювала все тим же 0.1 Мп. Поруч із камерою встановлено невелике дзеркальце: з ним було простіше робити селфі. Телефон також давав змогу передавати фотографії електронною поштою.

Дисплей пристрою підтримував до 256 кольорів, акумулятор витримував до 125 хвилин у режимі розмови, а телефонна книжка вміщала в собі до 500 контактів. Для Sharp це був перший досвід виробництва телефону — до нього ставилися як до експерименту. Тому модель випустили обмеженою серією у 2000 екземплярів тільки для Японії. Працювала новинка з японськими мобільними мережами PHS і продавалася за 500$.

Під час продажів телефону, журналісти BBC провели опитування у читачів. Журналісти з’ясовували, як би люди використовували свій телефон зі встановленою камерою.

Мобільний телефон для фотозйомки, безумовно, цікавий винахід. Це може бути зручно для делікатного розслідування або проникнення. Якщо ви замаскуєте його трохи краще, хто знатиме, що потрібно шукати камеру на телефоні? Йоганна, Фінляндія

Ще один приклад технологічних досягнень, які змушують нас платити все більше грошей за зображення нижчої якості. Стюарт Кордон, Велика Британія

Я б використав телефон із камерою, щоб сфотографувати свого найкращого друга, мого собаку Бенсона. Майлз Браун, Англія

Треба сказати, поява стільникових із камерами викликала серйозну дискусію. З одного боку, технологія була цікавою. Людей приваблювала можливість моментально зробити і перекинути фото, навіть незважаючи на невисоку якість знімків і дорожнечу пристроїв. З іншого боку, багато хто вважав спроби вбудувати камеру в телефон безглуздими. Адже у продажу є повнорозмірні фотокамери з набагато кращою якістю!

Час розставив усе на свої місця. З початку «нульових» виробники телефонів починають активно впроваджувати фотокамери. У 2002 році в продаж надійшов Ericsson T68 з окремим модулем камери.

Модуль використовував сенсор на 0.3 Мп. Він мав власну пам’ять, дозволяючи зберігати до 14 повнорозмірних фотографій з роздільною здатністю до 640 х 480. Пристрій у комплекті з телефоном не поставлявся: його треба було докуповувати.

Компанія Siemens також випускала модульні телефони з окремою камерою — Siemens C60 .

Революція від Ericsson

Камери в мобільних телефонах поліпшувалися, але якість фотографій залишалася низькою. Революція в мобільній фотографії сталася 2005 року з виходом Sony Ericsson K750i . На думку міжнародної асоціації Technical Image Press Association, модель стала найкращим камерофоном року.

Характеристики K750i на той момент були вражаючими. Кольоровий екран розміром 1.8 дюймів, 34 Мб вбудованої пам’яті, 1 Мб оперативки. У комплекті йшла карта пам’яті на 64 Мб. Акумулятор тримав заряд до 400 годин у режимі очікування.

Завдяки двомегапіксельній матриці роздільна здатність камери підвищилася до 1632 х 1224. Вперше з’явився центральний автофокус і цифровий зум 4x. Для підсвічування оточення в умовах поганої освітленості був світлодіодний спалах.

Приклади фото K750i. Джерело: mobile-review

У цьому телефоні вперше з’явився режим макрозйомки. Він давав змогу знімати предмети з дуже близької відстані.

Також у K750i реалізували режим нічної зйомки і панорами. Крім того, були ефекти: сепія, негатив і переведення фото в чорно-білий формат.

Приклади фото K750i. Джерело: mobile-review

Центральний автофокус працював із контрастним фокусуванням. Технологія досить проста. Сенсор камери заміряє кількість світла на об’єкті і переміщує лінзи залежно від контрасту. У цього типу фокусування є і мінуси: низька швидкість роботи, відсутність фокусування, що стежить, і низька якість роботи при поганому освітленні.

Втім, для середини «нульових» фото були відмінними. З відео справи йшли гірше. Роздільна здатність 176 х 144 пікселів, 10 к/с у нічному режимі і 15 к/с у стандартному — максимум, що міг видавати телефон.

На цьому вирішила зіграти Nokia, випустивши в 2006 році модель N93 . Телефон відкрив гонку за якість мобільного відео.

3.2-мегапіксельна камера й оптика Carl Zeiss давала змогу знімати відео з роздільною здатністю до 640×480 і робити фото до 2048×1536 пікселів. Якість відео підвищилася до 30 кадрів за секунду. Підтримувалися автофокус і макрозйомка. Поставлявся телефон з картою пам’яті в 128 Мб, яка вміщала до 6 хвилин відео. До того ж, Nokia N93 підтримувала карти пам’яті розміром до 2 Гб.

У тому ж 2006 році з’явився Nokia 6131 з підтримкою 8-кратного цифрового зуму і роздільною здатністю 1280×960 пікселів.

Від iPhone до 3D-фотографій

29 червня 2007 року в продаж надійшов iPhone першого покоління.

З точки зору фото — нічого видатного: камера на 2 Мп без можливості зняти відео. Втім, не відзначити смартфон не можна. У майбутньому, порівнюючи якість фотографій iPhone, канадський фотограф Ліза Беттані зробить серію знімків, починаючи з iPhone першого покоління і закінчуючи iPhone 6S.

У 2008 році виходять перші у світі телефони з 8-мегапіксельною камерою — LG KC910 і Sony Ericsson C905.

Оптика Schneider-Kreuznach давала змогу знімати з роздільною здатністю 3264×2448 пікселів. Були присутні автофокус і ксеноновий спалах. Зйомка відео відбувалася в роздільній здатності 640х480 і 30 к/с. З’явився режим запису Slow Motion з частотою 120 к/с при роздільній здатності 320х240.

Рік по тому рекорд побила компанія Samsung. M8910 PIXON12 мав камеру на 12 Мп.

У січні 2010 року в продаж надійшов Sony Ericsson Vivaz — перший телефон, що записує відео з роздільною здатністю HD-якості (720p).

У 2011 році на ринку з’явилися перші смартфони з двома камерами — HTC Evo 3D і LG Optimus 3D.

Просувалися телефони завдяки можливості стереоскопічної фотозйомки. Знімки робилися двооб’єктивними стереоскопічними фотокамерами одночасно. Створювалося два знімки з різних ракурсів, які потім об’єднувалися в один. Виходив своєрідний ефект 3D.

При цьому не було потрібно якихось спеціальних окулярів. Телефони давали змогу не тільки знімати і переглядати фотографії в 3D, а й дивитися 3D-фільми, знімати відео в новому форматі, запускати 3D-додатки…

Джерело 3D фотографій LG Optimus 3D: zoom.cnews

Популярності стереоскопічний ефект не набув. Користувачі відзначали низьку якість екранів під час перегляду 3D і обмежені кути огляду. Деякі скаржилися на дискомфорт в очах після тривалого використання цього режиму.

Джерело 2D фотографій LG Optimus 3D: zoom.cnews

Стабілізація і потужні камери

У 2012 році Nokia зробила черговий технологічний ривок. На найбільшій виставці мобільних технологій Mobile World Congress вона представила Nokia 808 PureView з камерою в 41 Мп.

Оптика Carl Zeiss з механічним затвором, діафрагмою f/2,4 і ксеноновим спалахом була передовою технологією. Роздільна здатність знімків зросла до рекордних 7728×5368, максимальна якість відео до 1080p за 30 кадрів за секунду. У наявності був цифровий зум — у режимі фотографії до 3x і від 4х до 12х під час запису відео.

Датчик стабілізації в смартфоні був відсутній, тому найменший рух рук сенсор відчував помітно.

У січні 2013 року Sony випустила новий мобільний сенсор у 13 Мп — IMX214, що досяг розміру 1/3.06″.

У 2013 році на ринок вийшли iPhone 5s і Google Nexus 5 з підтримкою авто-HDR і HDR+ відповідно.

IPhone 5s отримав першу електронно-гіроскопну стабілізацію. Вона дала змогу знизити ефект від тряски рук під час зйомки відео.

Розповімо трохи більше про те, що таке стабілізація.

Більшість смартфонів використовують електронну стабілізацію. Вона дешева і не потребує встановлення додаткових апаратних компонентів. Суть її роботи полягає в обрізанні видимого діапазону фотографії. Наприклад, матриця з відключеною стабілізацією використовує 100% своєї площі, з увімкненою — 80%. Зображення стабілізується за рахунок обрізаних 20%.

Незважаючи на відсутність апаратних компонентів, цифрова стабілізація значно дає змогу знизити тряску камери.

Оптична стабілізація дорожча у виробництві за рахунок наявності додаткового рухомого механізму. Він дає змогу переміщати не зображення з матриці, а безпосередньо матрицю, при цьому якість зображення не зменшується, що, безсумнівно, плюс.

Електронно-гіроскопічна стабілізація, як в IPhone 5s, поєднує оптичну і цифрову стабілізацію. За замовчуванням смартфон завжди використовує першу, але якщо телефон визначає, що можливості оптичної стабілізації не вистачає, автоматично підключається цифрова версія.

Ще один крок до зростання якості фото стався у 2013 році. Тоді Nokia і Microsoft випустили флагманський камерофон — Nokia Lumia 1020 .

У новинку вбудували значний 41-мегапіксельний об’єктив PureView-камери з оптичною стабілізацією, фокусною відстанню 26 мм, діафрагмою f/2,2 і максимальною роздільною здатністю фото 7712 × 5360. Завдяки новітньому сенсору, Lumia 1020 дозволяла зберігати вихідну якість фотографій навіть за значного збільшення знімка.

Зліва — знімок з повною роздільною здатністю (38 Мп), праворуч — з триразовим збільшенням без втрати деталей. hi-tech.mail.ru

Додатковою особливістю камери стала функція бінаризації . Це можливість об’єднання у фотографіях кількох сусідніх пікселів в один. За рахунок цього зростає чіткість знімка і знижуються шуми.

25 березня 2014 року в продаж надходить флагман компанії HTC — HTC One M8 .

Виділявся смартфон наявністю одразу двох камер: основного модуля і допоміжного. Останній вимірював глибину кадру і відокремлював об’єкт від фону. Хай живе портретний режим!

У травні 2014 року LG представляє світу новий флагман — LG G3 (D855) .

Це був перший у світі телефон із лазерним автофокусуванням камери. Технологія працює на основі лазерного далекоміра. Випромінювач підсвічує об’єкт перед камерою і повертає промінь назад. Датчик зчитує витрачений час, обчислюючи відстань і регулюючи дзеркала оптики. Особливістю фокусування є швидкодія в умовах недостатньої освітленості. Утім, є й низка обмежень: для найкращого результату об’єкт має перебувати не далі 0.6 метрів від телефона. А на відстані понад п’ять метрів вмикається контрастний автофокус.

У 2015 році Samsung першою впроваджує фазовий автофокус (PDAF) у свою новинку — Samsung Galaxy S5 . Нова технологія стала заміною контрастному фокусуванню.

Завдяки технології PDAF, телефон вловлює світловий потік з різних точок об’єкта, що знаходиться перед ним. Потім кожен світловий потік ділиться на дві частини і передається на надчутливий сенсор. Датчик вимірює відстань між потоками світла і зрушує лінзу на потрібну відстань. Нова технологія підвищила швидкість роботи фокусування. При цьому вона вимагала справді потужної «начинки» телефону.

Епоха нейромереж

У 2016 році китайська компанія Huawei оголосила про початок співпраці з німецькою компанією Leica Camera, що випускає професійні камери.

Huawei випустила в продаж перші у світі флагмани з гордим написом Leica біля об’єктивів — Huawei P9 і P9 Plus .

У телефони вбудували здвоєні камери з оптикою Leica, сенсором Sony IMX286, максимальною роздільною здатністю знімків 3968 х 2976, триразовим оптичним зумом. Телефони відрізнялися поліпшеним боке і можливістю знімати чорно-білі фотографії.

У березні 2016 року черговий хід зробила компанія Samsung. Вона випустила Samsung Galaxy S7 з поліпшеним фокусуванням Dual Pixel.

У сенсорі новинки кожен піксель отримав збільшені площі та окремі датчики аналізу фокусування. Конкуренти ж оснащували датчиками лише 5-10% пікселів сенсора.

2017 рік відкрив нову віху в історії мобільної фотографії. Тоді Apple випустила на ринок iPhone X.

Apple значно поліпшила і переробила центральний процесор, назвавши його Apple A11 Bionic. Приставка Bionic символізує наявність у чипах Apple нейромережевого модуля Neural Engine.

Спочатку новий модуль служив для аналізу і розпізнавання облич. Але в наступних моделях iPhone він отримав більше функцій і особливостей.

У тому ж 2017 році Huawei представила нові флагмани компанії — Huawei Mate 10/10 Pro.

Наголос у новинках Huawei зробила на новітні чіпсети HiSilicon Kirin 970 з виділеним нейронним модулем для AI-обчислень. Модуль допомагав телефону аналізувати сцену перед камерою: їжа, тварини, інтер’єр, архітектура тощо.

Завдяки ШІ, телефон міг автоматично налаштовувати параметри камери, проводити кольорокорекцію, покращувати нічну зйомку, займатися б’ютифікацією (вирівнювати тон шкіри і видаляти різні вади на фото).

На думку видання DXOMARK, на листопад 2022 року Huawei Mate має найкращу камеру серед конкурентів. Він обігнав навіть Google Pixel 7 Pro та iPhone 14 Pro Max.

У вересні 2018 року Sony представила сенсор IMX586 на 48 Мп. Роздільна здатність фотографій зросла до 8000 x 6000, розміри сенсора — до 1/2″. Новинка давала змогу об’єднувати чотири пікселі в один.

Відповідь від Samsung не змусила себе чекати. Корейці випустили аналогічні сенсори на 48 Мп — GM1 і GM2. Роздільна здатність сенсора в 1/2″, максимальна роздільна здатність фото — 4000 x 3000 і 8000 x 6000 відповідно.

У 2019 році камери знову значно підросли в розмірах. Realme і Xiaomi випустили смартфони з камерою на 64 Мп — Realme XT і Redmi Note 8 Pro.

Цього ж року Xiaomi створила перший у світі смартфон з модулем камери на 108 Мп — Xiaomi Mi Note 10 .

В наявності — сенсор Samsung HMX з розмірами 1/1.43», світлосилою f/1.7 і оптичною стабілізацією. Крім основного сенсора, в наявності був телеоб’єктив на 5 Мп з оптичним зумом 5x і стабілізацією. Ширококутний об’єктив у 117 градусів на 20 Мп, телеоб’єктив на 12 Мп із фіксованою фокусною відстанню в 50 мм для портретного режиму і камера для макрозйомки на 2 Мп.

13 жовтня 2020 року Apple запустила в продаж iPhone 12 і iPhone 12 Pro .

Тут представили оновлений нейромережевий модуль Neural Engine. Разом із новою iOS він давав змогу робити справді якісні фото. Фронтальні та тилові камери отримали функцію Deep Fusion.

Також в iPhone 12 Pro вперше з’явився датчик LiDAR для роботи з AR-додатками (доповненою реальністю).

LiDAR (Light Detection and Ranging) перекладається як «виявлення і визначення дальності за допомогою світла». Датчик випускає світлові хвилі, які стикаються з об’єктом і відбиваються назад. LiDAR підраховує витрачений на повернення світла час, визначає відстань до об’єкта і його форму.

Технологія дає змогу підвищити якість фото-відеозйомки, і не тільки. З її допомогою можна точно виміряти габарити об’єкта, відсканувати його і перевести в 3D-формат, а також запускати додатки з доповненою реальністю.

Новітні флагмани

У вересні 2020 року компанія ZTE представила перший у світі смартфон з фронтальною підекранною камерою на 32 Мп — ZTE Axon 20 .

У 2021 році компанія OPPO представила свій флагман — OPPO FIND X3 PRO .

Смартфон виділявся наявністю камери-мікроскопа на 3 Мп із 60-кратним збільшенням. Камера-мікроскоп дає змогу побачити навіть окремі пікселі на екранах пристроїв. Загалом, нова віха в розвитку макрозйомки.

Цього ж року Samsung випустила новітні сенсори — GN2 та HM3 .

GN2 на 50 Мп є найбільшим сенсором Samsung для мобільних телефонів. Значні розміри в 1/1.12″, максимальна роздільна здатність знімків 8160 x 6144, система автофокусування Dual Pixel Pro, підтримка HDR, запис відео у 8К при 480 к/с… Загалом, повний набір.

Сенсор HM3 дає змогу робити фото розміром 12000 x 9000 — при 108 Мп і розмірами сенсора в 1/1.33″. Підтримкою 8к під час запису відео з частотою 120 к/с і 240 к/с у 4к.

Конкуренцію корейським розробкам склала OmniVision. У 2021 році вона випустила флагманський сенсор OV50A на 50 Мп. Розміри сенсора — 1/1,5″. Заодно — підтримка 8к-відео і просунута чотирифазна система автофокусування (QPD). QPD дозволяє фазовому автофокусу охопити площу сенсора на 100% (за аналогією Dual Pixel від Samsung).

Що попереду?

Мобільні телефони продовжують змагатися в галузі фотографії та відеозйомки. Виробники активно впроваджують штучний інтелект, покращують якість нічних зйомок, вводять додаткові сенсори.

Зараз виробники роблять явний акцент на перспективне впровадження нейронних мереж і автоматизацію процесів зйомки. Наприклад, телефони Google Pixel дають змогу автоматично видаляти зайві об’єкти з готових фотографій (машини на задньому фоні або людей). Камери конкурентів автоматично проводять косметичні поліпшення знімків за рахунок ШІ.

Виробники з кожним роком збільшують розміри сенсорів, при цьому перегони за кількість мегапікселів йдуть на спад. Зате поліпшуються нічні зйомки і збільшуються роздільні здатності зображень. Судячи з усього, боротьба за «залізо» відходить на другий план. Майбутнє технологій пов’язане саме зі штучним інтелектом і нейромережами.