酷播亮新聞
手機攝像頭的進步有目共睹，一體式的卡片機已經奄奄一息，這就是手機攝像頭崛起的犧牲品。但要和單反、微單比，手機的畫質還差很遠，不過這種差距並不是完全不可縮小，捷徑就是多幀合成技術。
夜拍一直都是一件非常困難的事情，即使使用單反，不借助三腳架等工具，也很難拍出良好的效果，而這次的小米MIX 3的手持超級夜景必然是通過強大的演算法實現的。此前相機一直都是小米的痛點，於是小米成立了獨立相機部門，從小米MIX3，到後來的小米MIX2S、小米8等手機，其拍照水平獲得大幅提升。手持超級夜景是一種利用長曝光多幀合成的技術，點選拍攝按鈕之後，手持手機幾秒鐘保持不動，即可拍攝出一張完美的夜間樣張。
要想拍出這樣的夜景，在演算法上有兩個重要的地方，一個是多幀合成，另一個則是防抖。多幀合成與HDR技術類似，即是連續拍攝的多張不同曝光引數的照片進行實時堆疊和HDR處理，使得亮部更亮，暗部細節分工，並且有效抑制噪點，而防抖則是去除掉抖動幀，避免拍糊，下面我們看一下多幀合成還有什麼其他的應用。
手機攝像頭的多幀合成已經具有很好的基礎
如果你關心手機感光器的技術進步，會發現有個引數在成倍的飆升，那就是連拍幀率。至今為止，主流的感光器，包括索尼、三星、OmniVision的，大部分型號都能提供超過20FPS-30FPS的全畫素連拍速度。而與此同時中高階微單、單反連拍速度也就10FPS左右，這意味著什麼？這意味著手機感光器獲取全畫素取樣的速度是單反、微單的2-3倍，更具有多幀應用的價值。在數據處理量方面，手機也不落下風，憑藉強大的處理器效能以及靈活的軟件系統，手機已經具備廣泛深入的使用多幀合成技術的物質基礎，差的只是觀念。大部分手機廠商，將高速連拍僅僅用於引數上的炫耀，而沒想過如何利用這個效能實現以小博大。
多幀應用的靈感源自索尼
若干年前，單反廠商還在炫耀 X FPS連拍技能時，這個時候多幀合成的概念還沒有成熟，只有一些類似於「多重曝光」這樣的多幀合成。直到索尼的單電體系出現了10FPS的連拍速度時，索尼搞出了一套基於多幀的合成技術，包括全景、多幀降噪、數字防抖等。多幀合成的技術背景是感光器效能的提升，靈感也是此時被點燃的，我們應該記住這個時刻以及拉開多幀時代序幕的索尼。
應用1：全景
全景功能是普及率最高的一種多幀合成應用，幾乎所有相機和手機都已將全景作為標配。其技術原理非常簡單，就是掃射一圈後由程式自動拼接完成。在這個功能出現之前，大溼們都是靠人肉拼接完成的。雖然原理非常簡單，但各家最終的效果卻並不一樣，合成速度也差別很大，這就是演算法的差別。索尼自然是其中佼佼者，但國產手機廠商也不甘落後，現在隨便在一個風景區都能看到正在拍攝全景的遊客。
應用2：多幀降噪
多幀降噪的原理也不復雜。成像的噪點其實是無序排列的，也就是說上一張這個位置的噪點可能是紅噪點，而下一張同一個位置可能是綠噪點，這樣就有了比較條件，可以比較容易的將噪點篩選出來，圖示中的紅綠點表示噪點，當然，這只是圖示，不會有這麼巨大誇張的噪點的，噪點重疊的區域，可以得到白點，白點則根據進一步法的演算法進行猜色和插值處理，達到去除噪點的效果，這種方法對處理常見的紅綠噪點很有效。
應用3：多幀數字防抖
多幀防抖是純數字的防抖技術，它的基本原理是，單幀拆成多幀拍攝，然後對齊合成。從技術上講，完全行得通，這個技術同樣是索尼最先開發，但開花在蘋果家。iPhone 5S其加入了「自動影象防抖動功能」，這個功能和索尼相機上的動作防抖是一樣一樣的，蘋果聰明之處在於「自動」，不需要使用者干預是否開啟。
應用4：HDR
HDR是High-Dynamic Range 高動態範圍的縮寫，它用於模擬實現更高寬容度的拍攝效果。讓高光不溢位，讓暗部不死黑，畫面呈現更加豐富的中間色。而它實現的方法非常簡單，通過基於暗部測光、高光區測光以及正常測光的一組取樣合成一張。HDR最初是發燒友人肉在處理，不過處理過程簡單，演算法也簡單，於是成爲了相機、尤其手機的標配功能。雖然原理和演算法都很簡單，但真正做好HDR的卻寥寥無幾，大部分HDR處理的照片都顯得不自然。
應用5：解析度提升
利用多幀實現更高解析度的拍攝，這種思路由來已久。早在OPPO Find7 有個5000萬和2400萬畫素的模式，而實際上，Find7的攝像頭支援最大解析度只有1300萬，高解析度成像實際是依賴多幀合成的，合成方法類似於插值，效果不是很好。
哈蘇H5D-200c也有類似的解析度提升技術，但它的原理有些不同，它是多幀拍攝，但每一幀拍攝都會位移感光器。最新的奧林巴斯EM-5 II也配備了相似技術，也是通過位移感光器來完成拍攝，但位移路徑更為複雜。這種方式獲得的取樣，可以不用猜色不用插值，即便縮小到和原始影象一樣的尺寸，它也是超取樣的結果，因此畫質獲得了顯著的提升，這種方式獲得的畫質可以媲美全幅相機。不過遺憾的是，這個拍攝過程耗時太長，只適合拍攝靜物，因為EM-5 II的連拍速度只有10FPS，如果未來可以提升到30FPS甚至更高，這種解析度提升技術就可以用於更多的場景了。
應用6：後對焦技術
前幾年出現過一個光場相機，其概念就是先拍照後對焦，諾基亞在釋出Lumia1520時釋出了一款叫做「再對焦」的軟體，也是先拍照後對焦的操作。基礎原理很簡單，就是沿著對焦行程，逐一記錄各節點上的幀。原理非常簡單，但實際體驗一般，一個是記錄的時間還不夠快，第二個是手機攝像頭焦點變化帶來的景深變化也不明顯。不過終究還是簡單，不少手機廠商還是把它作爲了標配功能，不管實用性如何，娛樂性也是不錯的。
應用7：電子光圈
電子光圈是努比亞開發的一種多幀應用。電子光圈是以連續多幀不間斷拍攝，然後對多幀進行合成處理，如果都是直接疊加，最終結果肯定是溢位，解決方案就是將各幀透明化後合成，以降低溢位的風險。這種思路可謂奇思妙想，電子光圈在實際使用中，確實可以用於模擬小光圈長曝的效果，例如拍攝毛玻璃的水面效果。但電子光圈並不是以減少通光量的方式來實現，它與傳統光圈的原理有著本質的不同，電子光圈只是在模擬小光圈的成像效果而已，它也不會產生傳統光圈收縮帶來的景深變化
多幀合成前景廣闊
本文列舉的是一些常見和有特別想法的多幀合成技術，不代表多幀只有這些。多幀的範圍非常廣闊，它完全稱得上是是一個全新的世界，而很多廠商對此茫然不知。多幀如何被應用，是用來吹牛秒殺單反還是用於實實在在的改善畫質增加功能？在我們看來，多幀應用技術提供了以小博大的機會，得益於硬體的部分優勢，手機上應用多幀合成已經比相機更方便快捷，相機廠商有技術缺想法，手機廠商有想法但技術儲備還是不夠。手機廠商如果希望自己的攝像頭與衆不同，靠等著索尼發新感光器也沒前途的，你能拿到別人也能拿到，拿不走的是創意和演算法。
參考文獻：
手持超級夜景？小米MIX3夜拍樣張曝光 相機部門再立大功
聊聊攝像頭的多幀合成應用