Bilgisayarlı görü

Bir file binen bir adamın fotoğrafını analiz eden DenseCap "yoğun resim yazısı" yazılımının çıktısı

Bilgisayarlı görü, bilgisayarların dijital görüntülerden veya videolardan nasıl bir anlam kazanabileceğiyle ilgilenen disiplinler arası bilimsel bir alandır. Mühendislik yöntemleriyle, insan görsel sisteminin yapabileceği görevleri anlamaya ve otomatikleştirmeye çalışmaktadır.

Bilgisayarlı görü görevleri, sayısal veya sembolik bilgi üretmek için dijital görüntüleri elde etme, işleme, analiz etme ve anlamayı içermektedir. Aynı zamanda gerçek dünyadan yüksek boyutlu verilerin çıkarılmasına yönelik yöntemleri içermektedir. Buna göre anlamak, görsel imgelerin (retinanın girdisi) düşünce süreçlerin anlamlandıran ve uygun eylemi ortaya çıkarabilen dünya tanımlarına dönüşümü anlamına gelmektedir.

Bilgisayarlı görünün bilimsel disiplini, görüntülerden bilgi çıkaran yapay sistemlerin arkasındaki teori ile ilgilidir. Görüntü verileri; video parçaları, birden çok kameradan gelen görüntüler, bir 3B tarayıcıdan çok boyutlu veriler veya tıbbi tarama cihazından gelen görüntüler gibi birçok biçimde olabilmektedir. Bilgisayarlı görü vizyonunun teknolojik disiplini, teorilerini ve modellerini bilgisayarla görme sistemlerinin yapımına uygulamayı amaçlamaktadır.

Bilgisayarlı görünün alt alanları nesne algılama, olay algılama, video izleme, nesne tanıma, 3D poz tahmini, öğrenme, indeksleme, hareket tahmini, otomatik görsel oluşturma, 3D sahne modelleme ve görüntü onarımı gibi alanlardır.

Tanım

Bilgisayarlı görü, bilgisayarların dijital görüntülerden veya videolardan nasıl bir anlam kazanabileceğiyle ilgilenen disiplinler arası bilimsel bir alandır. Mühendislik yöntemleriyle, insan görsel sisteminin yapabileceği görevleri anlamaya ve otomatikleştirmeye çalışmaktadır. "Bilgisayarlı görü, tek bir görüntüden veya bir dizi görüntüden yararlı bilgilerin otomatik olarak çıkarılması, analizi ve anlaşılmasıyla ilgilidir. Otomatik görsel anlayışa ulaşmak için teorik ve algoritmadan türetilen bir temelin geliştirilmesini içermektedir". Bilimsel bir disiplin olarak bilgisayarlı görü, görüntülerden bilgi çıkaran yapay sistemlerin arkasındaki teori ile ilgilenir. Görüntü verileri, video parçaları, birden çok kameradan gelen görüntüler veya bir tıbbi tarayıcıdan gelen çok boyutlu veriler gibi birçok biçimde olabilmektedir. Teknolojik bir disiplin olarak bilgisayarlı görü, teorilerini ve modellerini bilgisayarla görme sistemlerinin inşası için uygulamaya çalışmaktadır.

Tarihçe

1960'ların sonlarında, yapay zekaya öncülük eden üniversitelerden bilgisayarlı görü ile ilgili çalışmalar başlatıldı. Robotlara akıllı davranışlar kazandırmak için bir basamak olan insan görsel sistemini taklit ettirmek amaçlanıyordu. 1966'da bunun, bir bilgisayara bir kamera bağlatılarak ve "gördüklerini tarif etmesini" sağlatılarak bir ufak bir proje ile başarılabileceğine inanılıyordu.

Bilgisayarlı görüyü o dönemde yaygın olan dijital görüntü işleme alanından ayıran şey, tarama yapılan alanı tam olarak anlamak amacıyla görüntülerden üç boyutlu yapı çıkarma arzusuydu. 1970'lerde yapılan araştırmalar, görüntülerden kenarların çıkarılması, çizgilerin etiketlenmesi, çok yüzlü olmayan ve çok yüzlü modelleme, nesnelerin daha küçük yapıların ara bağlantıları olarak gösterilmesi, optik akış ve hareket tahmini gibi bugün var olan bilgisayarlı görü algoritmalarının birçoğunun ilk temellerini oluşturdu. Daha sonraki on yıl, bilgisayar vizyonunun daha titiz matematiksel analizine ve nicel yönlerine dayanan çalışmalar görüldü. Bunlar arasında ölçek alanı kavramı, gölgeleme, doku ve odak gibi çeşitli ipuçlarından şekil çıkarımı ve yılanlar olarak bilinen kontur (Resimde nesneyi belirgin gösteren çevre çizgisi.) modelleri yer aldı. Araştırmacılar ayrıca, bu matematiksel kavramların çoğunun, düzenlileştirme ve Markov rastgele alanları ile aynı optimizasyon çerçevesi içinde ele alınabileceğini fark etmişlerdir. 1990'larda, önceki araştırma konularından bazıları diğerlerinden daha aktif hale geldi. Projektif 3-D onarım araştırmaları, kamera kalibrasyonunun daha iyi anlaşılmasına yol açmıştır. Kamera kalibrasyonu için optimizasyon yöntemlerinin ortaya çıkmasıyla birlikte, fotogrametri alanından demet ayarlama teorisinde birçok fikrin keşfedildiği fark edilmiştir. Bu, birden çok görüntüden sahnelerin seyrek 3 boyutlu onarımı için farklı yöntemlere yol açmıştır. Yoğun üç boyutlu uygunluk problemi ve daha fazla çoklu-görüntülü üç boyutlu tekniklerinde ilerleme kaydedildi. Aynı zamanda, görüntü ayırmayı çözmek için grafik kesiminin varyasyonları kullanıldı. Bu on yıl içinde, görsellerdeki yüzleri tanımak için istatistiksel öğrenme tekniklerinin ilk kez pratikte kullanılmıştır (Örneğin Eigenface). 1990'ların sonlarına doğru, bilgisayar grafikleri ve bilgisayar görüşü alanları arasındaki etkileşimin artmasıyla önemli bir değişiklik meydana gelmiştir. Bu, görüntü tabanlı oluşturma, görüntü dönüştürme, görünüm enterpolasyonu, panoramik görüntü birleştirme ve erken ışık alanı oluşturmayı içeriyordu.

Son zamanlarda yapılan çalışmalar, makine öğrenimi teknikleri ve karmaşık optimizasyon çerçeveleri ile birlikte kullanılan özellik tabanlı yöntemlerin yeniden canlandığını gördü. Derin Öğrenme tekniklerinin ilerlemesi, bilgisayarlı görü alanına daha fazla yenilik getirdi. Sınıflandırma, segmentasyon ve optik akış gibi çeşitli görevler için çeşitli karşılaştırmalı bilgisayarlı görü veri setlerinde derin öğrenme algoritmalarının doğruluğu önceki yöntemleri geride bırakmıştır.

İlgili alanlar

Fotoğrafta Nesne tespiti

Katı hal fiziği

Katı hal fiziği, bilgisayarlı görü ile yakından ilgili olan başka bir alandır. Çoğu bilgisayarlı görü sistemi, tipik olarak görünür veya kızılötesi ışık şeklinde olan elektromanyetik radyasyonu algılayan görüntü sensörleri ile çalışmaktadır. Sensörler, kuantum fiziği kullanılarak tasarlanmıştır. Işığın yüzeylerle etkileşime girdiği süreç fizik kurallar kullanılarak açıklanmaktadır. Fizik, çoğu görüntüleme sisteminin temel bir parçası olan optiğin davranışını açıklar. Gelişmiş görüntü sensörleri, görüntü oluşum sürecini tam olarak anlamak için kuantum mekaniğine bile ihtiyaç duymaktadır. Ayrıca, fizikteki çeşitli ölçüm problemleri, örneğin sıvılarda hareket gibi bilgisayarlı görü kullanılarak ele alınabilmektedir.

Sinir bilimi

Önemli bir rol oynayan ikinci bir alan, sinir bilimi, özellikle biyolojik görü sistemi çalışmasıdır. Geçen yüzyılda, hem insanlarda hem de çeşitli hayvanlarda görsel uyaranların işlenmesi için çalışan gözler, nöronlar ve beyin yapıları üzerinde kapsamlı bir çalışma yapılmıştır. Bu, görme ile ilgili belirli görevleri çözmek için "gerçek" görüntü sistemlerinin nasıl çalıştığına dair kaba, ancak karmaşık bir açıklamaya yol açmıştır. Bu sonuçlar, yapay sistemlerin, biyolojik sistemlerden farklı karmaşıklık düzeylerinde işlenmesine yol açmıştır. Aynı zamanda davranışları taklit edecek şekilde tasarlandığı bilgisayarlı görü içinde bir alt alana yol açmıştır. Ayrıca, bilgisayarlı görü içinde geliştirilen öğrenmeye dayalı yöntemlerden bazıları (örneğin; sinir ağı, derin öğrenme tabanlı görüntü ve özellik analizi ve sınıflandırma) biyoloji geçmişine sahiptir.

Bilgisayarlı görü araştırmalarının bazı türleri, biyolojik vizyon araştırmalarıyla yakından ilgilidir. Aslında, yapay zeka araştırmalarının birçok türünün insan bilincine yönelik araştırmalarla ve görsel bilgileri yorumlamak, entegre etmek ve kullanmak için depolanan bilginin kullanımıyla yakından bağlantılı olması gibi örnekler verilebilmektedir. Biyolojik görme alanı, insanlarda ve diğer hayvanlarda görsel algının arkasındaki fizyolojik süreçleri inceler ve modeller. Bilgisayarlı görü ise yapay görme sistemlerinin arkasında yazılım ve donanımda uygulanan süreçleri inceler ve açıklar. Biyolojik ve bilgisayarlı görü arasındaki disiplinler arası alışveriş her iki alan için de verimli olmaktadır.

Sinyal işleme

Bilgisayarlı görü ilgili bir başka alan da sinyal işlemedir. Tek değişkenli sinyallerin, tipik olarak zamansal sinyallerin işlenmesine yönelik birçok yöntem, bilgisayarlı görüde iki değişkenli sinyallerin veya çok değişkenli sinyallerin işlenmesine doğal bir şekilde genişletilebilmektedir. Bununla birlikte, görüntülerin özel doğası nedeniyle, tek değişkenli sinyallerin işlenmesinde karşılığı olmayan, bilgisayarlı görü içerisinde geliştirilen birçok yöntem vardır. Sinyalin çok boyutluluğuyla birlikte, sinyal işlemede bilgisayar görüşünün bir parçası olarak bir alt alanı tanımlanmaktadır.

Robotik navigasyon

Robot navigasyonu, robotik sistemlerin bir ortamda gezinmesi için otonom yol planlaması veya düşüncesiyle ilgilenmektedir. İçlerinde gezinmek için bu ortamların ayrıntılı olarak anlaşılması gerekmektedir. Çevre hakkındaki bilgiler, bir görüntü sensörü görevi gören ve çevre ile robot hakkında üst düzey bilgi sağlayan bir bilgisayar görüntü sistemi tarafından sağlanabilir.

Diğer alanlar

Bilgisayarlı görü ile ilgili yukarıda bahsedilen görüşlerin yanı sıra, ilgili araştırma konularının çoğu tamamen matematiksel bir bakış açısıyla da incelenebilmektedir. Örneğin, bilgisayarlı görüdeki birçok yöntem istatistiklere, optimizasyona veya geometriye dayanmaktadır. Son olarak, alanın önemli bir kısmı bilgisayar vizyonunun uygulama yönüne ayrılmıştır; çeşitli yazılım ve donanım kombinasyonlarında mevcut yöntemlerin nasıl gerçekleştirilebileceği veya çok fazla performans kaybetmeden işlem hızı kazanmak için bu yöntemlerin nasıl değiştirilebileceği gibi alanlarla da ilgilenmektedir. Bilgisayarlı görü ayrıca moda e-ticaretinde, envanter yönetiminde, patent araştırmasında, mobilyada ve güzellik endüstrisinde de kullanılmaktadır.

Ayrımlar

Bilgisayarlı görü ile en yakından ilgili alanlar görüntü işleme, görüntü analizi ve makine görüsüdür. Bunların kapsadığı çeşitli teknikler ve uygulamalar arasında önemli bir benzerlik vardır. Bunun anlamı, bu alanlarda kullanılan ve geliştirilen temel tekniklerin benzer olduğunu, farklı isimlere sahip tek bir alan olduğu şeklinde yorumlanabilecek olduğunu ima etmektedir. Öte yandan, araştırma gruplarının, bilimsel dergilerin, konferansların ve şirketlerin kendilerini özellikle bu alanlardan birine ait olarak sunmaları veya pazarlamaları gerekli görünmektedir. Bu nedenle, her alanı diğerlerinden ayıran çeşitli nitelendirmeler olmuştur. Bilgisayar grafikleri, 3D modellerden görüntü verileri üretmektedir, bilgisayarlı görü genellikle görüntü verilerinden 3D modeller üretmektedir. Örneğin artırılmış gerçeklikte keşfedildiği gibi, iki disiplinin bir kombinasyonuna doğru bir eğilim vardır.

Aşağıdaki nitelendirmeler konuyla ilgili görünmektedir ancak evrensel olarak kabul edildiği gibi alınmamalıdır:

• Görüntü işleme ve görüntü analizi genellikle 2D görüntülere, bir görüntünün diğerine nasıl dönüştürüleceğine, örneğin kontrast geliştirme gibi piksel bazlı işlemler, kenar çıkarma veya gürültü giderme gibi yerel işlemler veya görüntüyü döndürme gibi geometrik dönüşümlere odaklanma eğilimindedir. Bu tanımlandırma, görüntü işlemenin veya analizinin, ne varsayımlar gerektirdiğini ne de görüntü içeriği hakkında yorumlar üretmediğini ima etmektedir.
• Bilgisayarlı görü, 2D görüntülerden 3D görüntü analizini içermektedir. Bu, bir veya birkaç görüntü üzerine yansıtılan 3D sahneyi analiz eder, örneğin; 3D sahne hakkındaki yapının veya diğer bilgilerin bir veya birkaç görüntüden nasıl yeniden yapılandırılacağı ifade etmektedir. Bilgisayarlı görü genellikle bir görüntüde tasvir edilen sahne hakkında az çok karmaşık varsayımlara dayanmaktadır.
• Makine görüsü, endüstriyel uygulamalarda görüntüleme tabanlı otomatik inceleme, süreç kontrolü ve robot rehberliği sağlamak için bir dizi teknolojiyi ve yöntemi uygulama sürecidir. Makine görüsü, temel olarak üretimde, örneğin vizyon tabanlı robotlar ve görsel tabanlı inceleme, ölçüm veya toplama (çöp toplama gibi) sistemleri gibi uygulamalara odaklanma eğilimindedir. Bu, görüntü sensörü teknolojilerinin ve kontrol teorisinin genellikle bir robotu kontrol etmek için görüntü verilerinin işlenmesi ile bütünleştirildiği sonucu çıkarılmaktadır. Ayrıca gerçek zamanlı işlemenin donanım ve yazılımdaki verimli uygulamalarla vurgulandığı anlamına gelmektedir. Aynı zamanda, aydınlatma gibi dış koşulların, makine görüşünde genel bilgisayarlı görüde olduğundan daha fazla kontrol edilebileceğini ve genellikle daha kontrollü olduğunu ifade etmektedir. Bu da farklı algoritmaların kullanılmasını sağlayabileceğini ima etmektedir.
• Öncelikle görüntü üretme sürecine odaklanan, ancak bazen görüntülerin işlenmesi ve analizi ile ilgilenen görüntüleme adı verilen bir alan da vardır. Örneğin, tıbbi görüntüleme, tıbbi uygulamalardaki görüntü verilerinin analizine yönelik önemli çalışmaları içermektedir.
• Son olarak, örüntü tanıma, temel olarak istatistiksel yaklaşımlara ve yapay sinir ağlarına dayanan, genel olarak sinyallerden bilgi çıkarmak için çeşitli yöntemler kullanan bir alandır. Bu alanın önemli bir kısmı, bu yöntemlerin görüntü verilerine uygulanmasına ayrılmıştır.

Uygulama alanları

Nesne tanımlama

Uygulamalar, üretim hattında hızla ilerleyen şişeleri inceleyen endüstriyel makine görme sistemleri gibi görevlerden, yapay zeka ve çevrelerindeki dünyayı kavrayabilen bilgisayarlar veya robotlar üzerine araştırmalara kadar uzanmaktadır. Bilgisayarlı görü ve makine görüsü alanları önemli ölçüde örtüşmektedir. Bilgisayarlı görü, birçok alanda kullanılan otomatik görüntü analizinin temel teknolojisini kapsamaktadır. Makine görüsü genellikle, endüstriyel uygulamalarda otomatik inceleme ve robot rehberliği sağlamak için otomatik görüntü analizini diğer yöntem ve teknolojilerle birleştirme sürecini ifade etmektedir. Pek çok bilgisayarlı görü uygulamasında, bilgisayarlar belirli bir görevi çözmek için önceden programlanmıştır, ancak öğrenmeye dayalı yöntemler artık giderek yaygınlaşmaktadır. Bilgisayarlı görü uygulamalarının örnekleri aşağıdakilere yönelik sistemleri içermektedir:

3B şekilleri öğrenmek, bilgisayarla görme alanında zor bir görev olmuştur. Derin öğrenme alanındaki son gelişmeler, araştırmacıların tek veya çoklu görünümden derinlik haritası veya siluetlerden sorunsuz ve verimli bir şekilde 3B şekilleri yeniden oluşturabilen ve üretebilen modeller oluşturmasını sağlamıştır.

• Otomatik inceleme, örneğin imalat uygulamalarında;
• İnsanları tanımlama görevlerinde yardımcı olmak, örneğin bir tür tanımlama sistemi;
• Kontrol süreçleri, örneğin bir endüstriyel robot;
• Olayları tespit etme, örneğin görsel izleme veya insan sayımı;
• Etkileşim, örneğin bilgisayar-insan etkileşimi için bir cihaza girdi olarak;
• Nesneleri veya ortamları modelleme, örneğin, tıbbi görüntü analizi veya topografik modelleme;
• Navigasyon, örneğin, otonom bir araç veya mobil robot yön bulma;
• Bilgilerin düzenlenmesi, örneğin görüntü veri tabanlarının ve görüntü dizilerinin indekslenmesi.

Sağlık

En önemli uygulama alanlarından biri, bir hastayı teşhis etmek için görüntü verilerinden bilgilerin çıkarılmasıyla bir sonuç elde eden tıbbi bilgisayarlı görü veya tıbbi görüntü işlemedir. Bunun bir örneği, tümörlerin veya diğer anormal değişikliklerin saptanmasıdır; organ boyutları, kan akışı vb. ölçümleri başka bir örnektir. Aynı zamanda yeni bilgiler sağlayarak tıbbi araştırmaları desteklemektedir: örneğin beynin yapısı veya tıbbi tedavilerin kalitesi hakkında. Tıbbi alandaki bilgisayarlı görü uygulamaları, örneğin gürültünün etkisini azaltmak için insanlar tarafından yorumlanan ultrasonik görüntüler veya X-ışını görüntüleri tarafından yorumlanan görüntülerin geliştirilmesini de içermektedir.

Makine görüsü

Bilgisayarlı görüdeki ikinci bir uygulama alanı, makine görüsü olarak adlandırılan ve bir üretim sürecini desteklemek amacıyla bilginin çıkarıldığı endüstridir. Bir örnek vermek gerekir ise, kusurları bulmak için ayrıntıların veya nihai ürünlerin otomatik olarak incelendiği kalite kontrolüdür. Bir başka örnek, bir robot kol tarafından alınacak detayların konumunun ve yönünün ölçülmesidir. Optik ayırma adı verilen bir işlem olan, istenmeyen gıda maddelerini dökme malzemeden çıkarmak için tarımsal süreçte yoğun bir şekilde makine görüsü kullanılmaktadır.

Askerî

Bilgisayarlı görü kullanan bir insansız hava aracı.

Askerî uygulamalar muhtemelen bilgisayarlı görünün en geniş alanlarından biridir. En belirgin örnekler, düşman askerlerinin veya araçlarının tespiti ve füze rehberliğidir. Füze güdümüne yönelik daha gelişmiş sistemler, füzeyi belirli bir hedef yerine bir bölgeye göndermekte ve yerel olarak elde edilen görüntü verilerine göre füze alana ulaştığında hedef seçimi yapılmaktadır. "Savaş alanı farkındalığı" gibi modern askeri kavramlar, görüntü sensörleri de dahil olmak üzere çeşitli sensörlerin, stratejik kararları desteklemek için kullanılabilecek bir savaş sahnesi hakkında zengin bir bilgi kümesi sağladığını ifade etmektedir. Bu durumda, verilerin otomatik olarak işlenmesi, karmaşıklığı azaltmak ve güvenilirliği artırmak için birden çok sensörden gelen bilgileri birleştirmek için kullanılır.

Otonom araçlar

Kara tabanlı vidasız bir araç örneği olan Curiosity adlı sanatçının Curiosity konsepti. Gezginin üstüne monte edilmiş stereo kameraya dikkat edin.

Yeni uygulama alanlarından biri, su altı araçları, kara tabanlı araçları (tekerlekli, arabalı veya kamyonlu küçük robotlar), hava araçları ve insansız hava araçlarını (İHA) içeren otonom araçlardır. Özgürlük seviyesi, tamamen otonom (insansız) araçlardan, bilgisayar destekli sistemlerin çeşitli durumlarda bir sürücüyü veya pilotu desteklediği araçlara kadar uzanmaktadır. Tamamen otonom araçlar genellikle navigasyon için bilgisayarlı görüyü kullanır, örneğin; nerede olduğunu bilmek veya çevresinin bir haritasını oluşturmak ve engelleri tespit etmek için kullanılmaktadır. Ayrıca, orman yangınlarını arayan bir İHA gibi belirli göreve özgü olayları tespit etmek için de kullanılabilmektedir. Destekleyici sistemlere örnek olarak, arabalardaki engel uyarı sistemleri ve uçakların otonom inişi için sistemler verilebilmektedir. Birkaç otomobil üreticisi otomobillerin otonom sürüşü için sistemler gösterdiler, ancak bu teknoloji hala piyasaya sürülebilecek bir seviyeye ulaşılamamıştır. Gelişmiş füzelerden keşif görevleri veya füze rehberliği için İHA'lara kadar geniş askeri otonom araç örnekleri vardır. NASA'nın Curiosity ve CNSA'nın (China National Space Administration, Çin Ulusal Uzay İdaresi) Yutu-2 gezgini gibi bilgisayarlı görü kullanan otonom araçlarla uzay araştırmaları yapılmaktadır.

Özgün görevleri

Uygulama alanlarının her biri bir dizi bilgisayarlı görü görevi kullanır; çeşitli yöntemler kullanılarak çözülebilen az çok iyi tanımlanmış ölçüm problemleri veya işleme problemleri. Özgün bilgisayarlı görü görevlerinin bazı örnekleri aşağıda sunulmuştur.

Bilgisayarlı görü görevleri, sayısal veya sembolik bilgiler, örneğin karar formlarında üretmek için dijital görüntüleri elde etme, işleme, analiz etme ve anlama ve gerçek dünyadan yüksek boyutlu verilerin çıkarılmasına yönelik yöntemleri içermektedir. Bu bağlamda anlamak, görsel imgelerin (retinanın girdisi) diğer düşünce süreçleriyle ara yüz oluşturabilen ve uygun eylemi ortaya çıkarabilen dünyanın tanımlarına dönüştürülmesi anlamına gelmektedir. Bu görüntü anlayışı, geometri, fizik, istatistik ve öğrenme teorisi yardımıyla oluşturulan modeller kullanılarak görüntü verilerinden sembolik bilgilerin çözülmesi olarak görülebilmektedir.

Tanıma

Bilgisayarlı görü, görüntü işleme ve makine görüsündeki başlıca sorunlardan biri görüntü verilerinin belirli bir nesne, özellik veya etkinlik içerip içermediğini belirlemektir. Literatürde tanıma sorunu farklı şekillerde ele alınmıştır.

• Nesne tanıma (nesne sınıflandırması da denir): Önceden belirlenmiş veya öğrenilmiş bir veya birkaç nesne veya nesne sınıfı, genellikle görüntüdeki 2D konumlarıyla veya sahnedeki 3D pozisyonlarıyla birlikte tanınabilmektedir. Blippar, Google Goggles ve LikeThat, bu işlevi gösteren bağımsız programlar sağlamaktadır.
• Kimlik: Bir nesnenin tek bir örneği tanınır. Örnekler arasında belirli bir kişinin yüzünün veya parmak izinin tanımlanması, el yazısı rakamların tanımlanması veya belirli bir aracın tanımlanması yer almaktadır.
• Tespit etme: Görüntü verileri belirli bir koşul için taranır. Örnekler arasında, tıbbi görüntülerde olası anormal hücrelerin veya dokuların tespiti veya bir aracın otomatik yol geçiş ücreti sisteminde tespit edilmesi yer almaktadır. Nispeten basit ve hızlı hesaplamalara dayanan tespit etme, bazen doğru bir yorumlama üretmek için daha hesaplama gerektiren tekniklerle daha fazla analiz edilebilen ilginç görüntü verilerinin daha küçük bölgelerini bulmak için kullanılmaktadır.

Şu anda, bu tür görevler için en iyi algoritmalar evrişimli sinir ağlarına dayanmaktadır. Yeteneklerinin bir örneği, ImageNet Büyük Ölçekli Görsel Tanıma Yarışması'nda verilmiştir; Bu, yarışmada kullanılan milyonlarca görüntü ve 1000 nesne sınıfıyla nesne sınıflandırma ve tespitinde bir kriterdir. ImageNet testlerinde evrişimli sinir ağlarının performansı artık insanlarınkine yakındır. En iyi algoritmalar, bir çiçeğin gövdesindeki küçük bir karınca veya elinde bir tüyü tutan bir kişi gibi küçük veya ince nesnelerle hala uğraşmaktadır. Ayrıca, filtrelerle bozulmuş görüntülerle de sorun yaşamaktadır. Bilgisayarların aksine, bu tür görüntüler insanları nadiren rahatsız etmektedir. Bununla birlikte, insanlar başka konularda sorun yaşama eğilimindedir. Örneğin, nesneleri belirli bir köpek türü veya kuş türleri gibi ince taneli sınıflara ayırmada iyi değillerdir, oysa evrişimli sinir ağları bunu kolaylıkla halletmektedir.

Aşağıdakiler gibi, tanımaya dayalı birkaç özel görev mevcuttur:

• İçeriğe dayalı görüntü alma: Belirli bir içeriğe sahip daha büyük bir görüntü kümesindeki tüm görüntüleri bulmaktadır. İçerik, örneğin bir hedef görüntüye göre benzerlik açısından veya metin girişi olarak verilen üst düzey arama kriterleri gibi farklı şekillerde belirtilebilmektedir.

Halka açık yerlerde, alışveriş merkezlerinde, alışveriş merkezlerinde kişi sayma amaçlı bilgisayarla görme

• Poz tahmini: Kameraya göre belirli bir nesnenin konumunu veya yönünü tahmin edebilmektedir.
• Optik karakter tanıma: Genellikle metni düzenleme veya indekslemeye daha uygun bir formatta (örneğin ASCII) kodlamak amacıyla basılı veya el yazısı metnin görüntülerindeki karakterlerin tanımlanmasıdır.
• 2D kod okuma: Veri matrisi ve QR kodları gibi 2D kodların okumaktadır.
• Yüz tanıma
• Şekil Tanıma Teknolojisi: İnsanları nesnelerden ayıran teknolojidir.

Hareket analizi

Çeşitli görevleri vardır. Bir görüntü dizisinin, görüntüdeki veya 3D sahnedeki her noktada veya hatta görüntüleri üreten kameranın hızının bir tahminini üretmek için işlendiği hareket tahminiyle ilgilidir. Bu tür görevlerin örnekleri şunlardır:

• Egomotion: Kamera tarafından üretilen bir görüntü dizisinden kameranın 3D katı hareketini (döndürme ve öteleme) belirlemedir.
• Takip: Görüntü dizisindeki (genellikle) daha küçük bir dizi ilgi noktası veya nesnenin (örneğin araçlar, nesneler, insanlar veya diğer organizmalar) hareketlerini takip etmektir. Bu, yüksek çalışan makinelerin çoğu bu şekilde izlenebildiği için geniş endüstri uygulamalarına sahiptir.
• Optik akış: Görüntüdeki her nokta için o noktanın görüntü düzlemine göre nasıl hareket ettiğini belirlemek için kullanılmaktadır. Bu hareket, hem ilgili 3D noktasının sahnede nasıl hareket ettiğinin hem de kameranın sahneye göre nasıl hareket ettiğinin bir sonucudur.

Sahne yapılandırılması

Bir sahnenin veya videonun bir veya (özgün olarak) daha fazla görüntüsü verildiğinde, sahne yeniden yapılandırması sahnenin 3D modelini hesaplamayı amaçlamaktadır. En basit durumda, model bir dizi 3D nokta olabilmektedir. Daha karmaşık yöntemler, eksiksiz bir 3D yüzey modeli üretebilmektedir. Hareket veya tarama gerektirmeyen 3D görüntülemenin ve ilgili işleme algoritmalarının ortaya çıkışı, bu alanda hızlı ilerlemeler sağlamaktadır. Izgara tabanlı 3D algılama, birden çok açıdan 3D görüntüler elde etmek için kullanılabilmektedir. Algoritmalar artık birden fazla 3D görüntüyü nokta bulutları ve 3D modeller halinde birleştirmek için kullanılabilmektedir.

Görüntü onarımı

Görüntü onarımının amacı, görüntülerden gürültünün (sensör gürültüsü, hareket bulanıklığı vb.) giderilmesidir. Gürültünün giderilmesi için mümkün olan en basit yaklaşım, düşük geçişli filtreler veya medyan filtreler gibi çeşitli filtre türleridir. Daha karmaşık yöntemler, onları gürültüden ayırmak için yerel görüntü yapılarının nasıl göründüğüne dair bir model varsaymaktadır. Önce görüntü verilerinin çizgiler veya kenarlar gibi yerel görüntü yapıları açısından analiz edilmesi ve ardından analiz aşamasından gelen yerel bilgilere dayalı olarak filtrelemenin kontrol edilmesiyle, daha basit yaklaşımlara kıyasla genellikle daha iyi bir gürültü giderme seviyesi elde edilmektedir.

Bu alandaki bir örnek de boyamadır (Fotoğraflarda veya videolarda renk değişimi yapılması).

Sistem yöntemleri

Bir bilgisayarlı görü sisteminin organizasyonu büyük ölçüde uygulamaya bağlıdır. Bazı sistemler, belirli bir ölçüm veya algılama problemini çözen bağımsız uygulamalardır. Bir bilgisayarla görme sisteminin özel uygulaması aynı zamanda işlevselliğinin önceden belirlenmiş olmasına veya çalışma sırasında bir kısmının öğrenilip değiştirilemeyeceğine de bağlıdır. Birçok işlev uygulamaya özgüdür. Bununla birlikte, birçok bilgisayarlı görü sisteminde bulunan tipik işlevler vardır.

• Görüntü edinme: Bir dijital görüntü, çeşitli ışığa duyarlı kameraların yanı sıra mesafe sensörleri, tomografi cihazları, radar, ultrasonik kameralar ve benzeri araçları içeren bir veya birkaç görüntü sensörü tarafından üretilmektedir. Sensör tipine bağlı olarak, ortaya çıkan görüntü verileri sıradan bir 2D görüntü, 3D hacim veya bir görüntü dizisidir. Piksel değerleri tipik olarak bir veya birkaç spektral banttaki (gri görüntüler veya renkli görüntüler) ışık yoğunluğuna karşılık gelir, ancak derinlik, sonik veya elektromanyetik dalgaların soğurulması veya yansıması veya nükleer manyetik rezonans gibi çeşitli fiziksel ölçülerle de ilgili olabilmektedir.
• Ön işleme: Belirli bir bilgi parçasını çıkarmak için görüntü verilerine bir bilgisayarlı görü yöntemi uygulanmadan önce, yöntemin belirlediği belirli varsayımları karşıladığından emin olmak için genellikle verileri işlemek gerekmektedir. Örnekler:
  • Görüntü koordinat sisteminin doğru olduğundan emin olmak için yeniden örnekleme.
  • Sensör gürültüsünün yanlış bilgi vermemesini sağlamak için gürültü azaltma.
  • İlgili bilgilerin tespit edilebilmesini sağlamak için karşıtlık geliştirme.
  • Görüntü yapılarını yerel olarak uygun ölçeklerde geliştirmek için alan gösterimini ölçeklendirme.
• Özellik çıkarma: Çeşitli karmaşıklık düzeylerindeki görüntü özellikleri, görüntü verilerinden çıkarılır. Bu tür özelliklerin özgün örnekleri şunlardır:
  • Çizgiler, kenarlar ve sırtlar.
  • Köşeler, lekeler veya noktalar gibi yerelleştirilmiş ilgi noktaları.

Daha karmaşık özellikler doku, şekil veya hareketle ilgili olabilmektedir.

• Algılama / bölümleme (segmentation): İşlemenin bir noktasında, görüntünün hangi görüntü noktalarının veya bölgelerinin daha sonraki işlemlerle ilgili olduğuna dair bir karar verilmektedir. Örnekler:
  • Belirli bir ilgi noktası kümesinin seçilmesi.
  • Belirli bir ilgi nesnesini içeren bir veya birden çok görüntü bölgesinin bölümlenmesi.
  • Görüntünün ön plan, nesne grupları, tek nesneler veya göze çarpan nesne parçalarını içeren iç içe geçmiş sahne mimarisine bölünmesi, görsel belirginlik ise genellikle uzamsal ve zamansal dikkat olarak uygulanması.
• Üst düzey işleme: Bu adımda, girdi tipik olarak küçük bir veri kümesidir, örneğin belirli bir nesneyi içerdiği varsayılan bir dizi nokta veya bir görüntü bölgesidir. Örneğin aşağıdakilerle ilgilenir:
  • Verilerin model tabanlı ve uygulamaya özgü varsayımları karşıladığının doğrulanması.
  • Nesne duruşu veya nesne boyutu gibi uygulamaya özel parametrelerin tahmini.
  • Görüntü tanıma - tespit edilen bir nesneyi farklı kategorilere ayırmak.
  • Görüntü kaydı - aynı nesnenin iki farklı görünümünü karşılaştırmak ve birleştirmek.
• Karar verme: Başvuru için gerekli olan nihai kararın verilmesidir. Örneğin:
  • Otomatik denetim uygulamalarında başarılı / başarısız.
  • Tanıma uygulamalarında eşleşme / eşleşme yok.

Görüntü anlama sistemleri

Görüntü anlama sistemleri (Image-understanding systems: IUS) aşağıdaki gibi üç soyutlama düzeyi içermektedir: düşük düzey; kenarlar, doku öğeleri veya bölgeler gibi görüntü temel öğelerini içermektedir; orta seviye; sınırları, yüzeyleri ve hacimleri içermektedir. Yüksek seviye; nesneleri, sahneleri veya olayları içermektedir. Bu gereksinimlerin çoğu, tamamen daha fazla araştırma yapılması gereken konulardır.

Bu seviyeler için IUS tasarımındaki temsil gereksinimleri şunlardır: Prototipik kavramların temsili, konsept organizasyonu, mekansal bilgi, zamansal bilgi, ölçekleme ve karşılaştırma ve farklılaştırma yoluyla açıklamadır. Çıkarım, şu anda bilinen gerçeklerden açıkça temsil edilmeyen yeni gerçekleri türetme sürecini ifade ederken; kontrol, işlemenin belirli bir aşamasında birçok çıkarım, arama ve eşleştirme tekniklerinden hangisinin uygulanması gerektiğini seçen süreci ifade etmektedir. IUS için çıkarım ve kontrol gereksinimleri şunlardır: Arama ve hipotez aktivasyonu, eşleştirme ve hipotez testi, beklentilerin oluşturulması ve kullanılması, dikkatin değişmesi ve odağı, inancın kesinliği ve gücü, çıkarım ve hedef tatminidir.

Kullanılan araçlar

Bilgisayarlı görü, birçok endüstri ve sektörde çok ihtiyaç duyulan devrimi getirdi. Bulut üzerinden hizmet olarak GPU, Makine Öğrenimi cihazları ve ML platformu gibi donanımlardaki gelişmeler, günümüzde bilgisayarla görmeyi daha etkileyici hale getirdi. Bu yazılım donanımlarından en çok kullanılan 6 tanesi ise:

• OpenCV: Bu iyi bilinen kitaplıktır. Görüntü ve video işleme görevlerini yürütmek için temel stratejileri ve algoritmaları kapsayan çok platformlu bir yöntemdir. OpenCV işlevleri C++ ve Python dilleri ile çalışmaktadır.
• Tensorflow: Google tarafından geliştirilmiştir. TensorFlow 2.0, resimler, konuşma tanıma, nesne algılama, güçlendirilmiş öğrenme ve öneriler için önceden ayarlanmış ve hazırlanmış modellerin yürütülmesini sağlamaktadır.
• Matlab: Görüntü işleme uygulamaları yapmak için en iyi araçlardan bir tanesidir. Hızlı örneklemeye izin verdiği için araştırmalarda kullanılmaktadır. C++ dili ile karşılaştırıldığında çok sadedir ve sorun gidermeyi kolaylaştırmaktadır.
• CUDA: NVIDIA'nın bu aracı, paralel hesaplamanın temeli olarak kullanılmaktadır. CUDA, inanılmaz performans sunmak için GPU'ların gücünü kullanmaktadır. Araç kutusu, bir dizi görüntü, sinyal ve video işleme işlevini içeren NVIDIA Performance Primitives kitaplığını içermektedir.
• Theano: Bu Python tabanlı sayısal kitaplıktır. CPU veya GPU üzerinde çalışabilmektedir. Kanada'daki Montreal Üniversitesi'ndeki LISA grubu tarafından oluşturulmuştur. Araç, matematiksel ifadeleri kontrol etmek ve değerlendirmek için geliştirici bir derleyici olarak kullanılmaktadır.
• Keras: Farklı kitaplıkların en iyisini araçlarını birleştiren başka bir Python tabanlı derin öğrenme kitaplığıdır. TensorFlow, Theano ve CNTK'nın gücünü birleştirerek popülerlik kazanmıştır. TensorFlow, Microsoft Cognitive Toolkit, PlaidML veya Theano üzerinde çalışabilmektedir. Keras genellikle derin sinir ağları ile hızlı sonuçlar çıkarmak için kullanılmaktadır

Donanım

LIDAR sensörlü bir 2020 model iPad Pro

Pek çok tür bilgisayarlı görü sistemi vardır; ancak hepsi şu temel öğeleri içermektedir: bir güç kaynağı, en az bir görüntü edinme cihazı (kamera, ccd, vb.), bir işlemci ve kontrol ve iletişim kabloları veya bir tür kablosuz ara bağlantı mekanizması. Ek olarak, pratik bir görsel denetim sistemi ve sistemi izlemek için yazılımın yanı sıra bir ekran içermektedir. İç mekanlar için görüntü sistemleri, çoğu endüstriyel sistemde olduğu gibi, bir aydınlatma sistemi içerir ve kontrollü bir ortama yerleştirilebilmektedir. Ayrıca, tamamlanmış bir sistem, kamera destekleri, kablolar ve konektörler gibi birçok aksesuarı içermektedir.

Çoğu bilgisayarlı görü sistemi, bir sahneyi saniyede en fazla 60 kare (genellikle çok daha yavaş) kare hızlarında pasif olarak görüntüleyen görünür ışık kameraları kullanılmaktadır. Birkaç bilgisayarlı görü sistemi, yapılandırılmış ışıklı 3D tarayıcılar, termografik kameralar, hiperspektral görüntüleyiciler, radar görüntüleme, lidar tarayıcılar, manyetik rezonans görüntüleri, yandan taramalı sonar gibi aktif aydınlatmalı veya görünür ışıktan başka bir şey veya her ikisine sahip görüntü toplama donanımını kullanmaktadır. Bu tür donanım, görünür ışıklı görüntüleri işlemek için kullanılan aynı bilgisayar görme algoritmaları kullanılarak daha sonra sıklıkla işlenen "görüntüleri" yakalamaktadır. Geleneksel yayın ve tüketici video sistemleri saniyede 30 kare hızında çalışırken, dijital sinyal işleme ve tüketici grafik donanımındaki gelişmeler, saniyede binlerce kare ile yüzlerce gerçek zamanlı sistemler için yüksek hızlı görüntü alma, işleme ve görüntülemeyi mümkün kılmıştır. Robotikteki uygulamalar için hızlı, gerçek zamanlı video sistemleri kritik öneme sahiptir ve genellikle belirli algoritmalar için gerekli olan işlemeyi basitleştirebilmiştir. Yüksek hızlı bir projektörle birleştirildiğinde, hızlı görüntü elde etme, 3D ölçümün ve özellik izlemenin gerçekleştirilmesine olanak tanımaktadır.

2016 itibarıyla, görüntü işleme birimleri, bu roldeki CPU'ları ve grafik işleme birimlerini (GPU) tamamlamak için yeni bir işlemci sınıfı olarak ortaya çıkarmaktadır.

Geleceği

Derin Öğrenme (Deep Learning) basit şematiği

Teknolojinin daha fazla araştırılması ve iyileştirilmesiyle, bilgisayarlı görünün geleceği için daha geniş bir işlev yelpazesi gerçekleştirdiğini gösterecektir. Yalnızca bilgisayarlı görü teknolojilerinin eğitilmesi daha kolay olmayacak, aynı zamanda görüntülerden şu anda olduğundan daha fazlasını ayırt edebilecektir. Bilgisayarlı görü, daha güçlü uygulamalar oluşturmak için diğer teknolojilerle veya diğer yapay zeka alt kümeleriyle birlikte kullanılabileceği anlamına gelmektedir. Örneğin, resim yazısı oluşturma uygulamaları, çevredeki nesneleri görme engelli kişiler için yorumlamak için doğal dil işleme ile birleştirilebilecektir. Aynı zamanda yapay genel zeka ve yapay süper zekanın geliştirilmesinde, onlara bilgiyi insan görsel sistemi kadar hatta daha iyi işleme yeteneği vererek hayati bir rol oynayacaktır. Günümüzün teknoloji yetenekleri düşünüldüğünde, keşfedilmemiş kalan teknolojinin daha fazla faydası ve uygulaması olduğuna inanmak zor olabilmektedir. Bilgisayarlı görünün geleceği, bizim kadar insan olan yapay zeka sistemlerinin önünü açacaktır. Bununla birlikte, üstesinden gelinmesi gereken birkaç zorluk var, bunların en büyüğü yapay zekanın kara kutusunun gizemini çözmektir. Bunun nedeni, tıpkı diğer derin öğrenme uygulamaları gibi, işlevsel olarak etkili olmasına rağmen, iç işleyişi söz konusu olduğunda bu teknolojinin çözülemez olmasıdır.

Ayrıca bakınız

• Görsel gradyan