HTMLUNIT İLE UFAK PÜRÜZLERİ GİDERME

     HtmlUnit ile sitelerden verileri çekerken karşılaştığım bazı sorunları ve çözümlerini buraya yazıyorum ki benim gibi can çekişenler veya Türkçe kaynak bulmada sıkıntı yaşayanlara kolaylık olsun 😀  Oluşturduğumuz senaryoya göre htmlunit 2.12 veya daha eski sürümleriyle sitelerden veri çekmeniz diğer bir deyimle Crawler etmeniz lazım.

Sorun 1 – webClient oluşturdunuz ve url i çekerken uzun sürdüğünü gördünüz. Öncelikle sorun url de mi yoksa tüm linkleri mi çekemiyor diye kontrol edip url leri değiştirerek htmlPage e çekme sürelerini karşılaştırın. Bir sitede en fazla 3 dakika diğerinde 33 dakika (ki şaka değil, tasdiklendi onaylandı) sürüyorsa anlayın ki o uzun süren sitede sorun var. Websitesini çekerken webClient.getPage(url) de execution time uzuyorsa ağdan kaynaklı bir sorundur. Debug esnasında webClient.getPage(url) satırındayken ağı değiştirirseniz hemen alt satıra geçecektir.

Sorun 2 – Siteden verileri çekerken div altındaki text i mesela saati görmüyorsa javascript i BaseCrawler ya da yazdığınız class da engellemişsinizdir. Çoğu site saat , tarih gibi verileri javascript ile getirmekte. Bunu da  webClient.setJavaScriptEnabled(false);  satırını true olarak düzeltmelisiniz. Ayrıca css i de kapattıysanız webClient.setCssEnabled(false) ise onu da true olarak değiştirmeyi unutmayın.

SONBAHARDA YENİ DÖNEM ETKİNLİKLERİ

      Yaz döneminin bitmesine yakın çeşitli şirketlerin zirve, toplantı, seminer ve eğitim duyurularında da hareketlenmeler olmaya başladı. İşte seçtiğim etkinliklerden bazıları  :

Oracle Day 2013  – Perşembe 14 Kasım 2013  08:30 – 19:00

Oracle Teknoloji Günü –  Çarşamba 11 Eylül 2013   13:00 – 18:00

ISAF Fuarı Online Davetiye – 19 – 22 Eylül 10:00-18:00  ISAF web sitesi

GDG İstanbul NodeLab – 24 Ağustos 13:00 – 16:00

ARDUINO ÖDÜLLÜ YARIŞMA

        Elektrikport mühendislik portalının yapmış olduğu kategorili yarışmada her hafta 1. olana Arduiona başlangıç seti hediye. Elektrik-Elektronik, Yazılım, Üniversite, Temel Elektrik, Telekomünikasyon gibi çeşitli kategorilerde aslında mühendislik bölümüyle alakalı genel kültür niteliğinde sorular mevcut. Çözerken hem yeni bilgiler öğrenip hemde Arduino geliştirme kartı ve kitabı kazanmış olursunuz.

        Arduino hakkında bilgi vermek gerekirse; açık kaynak kodlu (yani kendiniz yeni özellikleri ekleyip geliştirebilirsiniz) İtalyan mühendisler Massimo Banzi ve David Cuartielles tarafından 2005 de fiziksel dünya hareketlerini algılayıp programlayabilmek için yaptıkları mikrodenetleyici kartıdır.


       Robotik ve elektronik uygulamaları öğrenci ve amatörlerin geliştirebilmesi için hazır basitleştirilmiş kartın mikroişlemci programlama dili wiring tabanlıdır. Java tabanlı olan Arduino IDE’si hem kodu derler hem de karta yükleme işlemini yapar. Editördeki kütüphanelerin fazlalığı uygulama geliştiricilerin işini kolaylaştırdığı konuşulan rivayetler arasında. Kart modelleri hakkında ayrıntılı bilgi için buraya bakabilirsiniz.

 

           Arduino Türkçe kaynak kitabı, Türkiye dağıtıcı firması, kurulum bilgisi, Türkiye topluluğu, örneklerin yapıldığı diğer link1, link2 ve link3 ‘e de göz atmanızı tavsiye ederim.

YAZILIM YÖNETİCİLERİ ZİRVESİ

           8 Aralık cumartesi 12.30‘da Yazılım Yöneticileri Zirvesi var. Lean-Kanban University CEO’su David J. Anderson’ın ana konuşmacı olarak yer aldığı zirve Beşiktaş kampüsünde 18.30a kadar sürecek.

Bu yıl ilk defa yapılacak zirvenin diğer konuşmacıları;

  • yemeksepeti.com dan IT Proje Takım Lideri Mert Öztekin Scrum hikayesini, 
  • ACM’de Yönetici Ortak ve Agile Danışmanı Mehmet Yitmen Agile & Agility başlıklı konuşma,
  • Avea Kıdemli BT direktörü Egemen Kurdoglu,
  • Oracle ISV Migration Center FMW Consultan Gokhan Gungor,
  • OBSS IT Offshore Services Manager Füsun Eriş

konuşma yapacak.

        Ücretsiz zirveye kayıt formunu doldurmak ve konuşmacılar hakkında detaylı bilgi için tıklayınız..

AVEA & İBB İŞBİRLİĞİNDE TRAFİK ALGORİTMASI

         Avea ve İstanbul Büyükşehir Belediyesi iştiraki İSBAK’ın, 1 saat sonrasını tahmin edecek trafik öngörü uygulaması ile İstanbul’da trafik sıkıntısının bitirilmesi hedefleniyor.
Gerçek zamanlı trafik yoğunluğunu belirlemenin yanı sıra 1 saat sonraki trafik durumunu da öngörebilecek uygulama ile trafik daha kilitlenmeden çözüm geliştirilebilecek.

Ambulans ve itfaiye gibi araçlar da bu uygulama ile en doğru güzergâhları kullanarak saniyenin bile önemli olduğu acil durumlarda hedeflerine en hızlı şekilde ulaşacak; şehir ve bölge planlaması için en doğru yol güzergahları bu uygulama ile belirlenecek. 


Özel araç sahipleri ise bu verilere göre trafiğe ne zaman çıkacaklarına ya da hangi yolları takip etmeleri gerektiğine yakıt ve zamandan tasarruf edecek şekilde karar verebilecekler.

                   BAĞLANTI VERİLERİ KULLANILACAK

          Avea, gerçek zamanlı trafik yoğunluğu hesaplanabilmesi ve Türkiye’de ilk kez- yoğunluktaki değişimin öngörülebilmesi için, müşterilerinin hizmet aldıkları baz istasyonun değişmesinden ortaya çıkacak bağlantı verilerini kullanacak. AveaLabs ve İSBAK mühendisleri tarafından geliştirilecek algoritma, İSBAK’ın mevcut trafik verilerinin yer aldığı gelişmiş trafik bilgi sistemine de entegre edilecek.

İlk etapta İstanbul’daki ana yollar üzerinde trafik bilgileri hesaplanarak geliştirilecek uygulama, yakın gelecekte başta büyük şehirler olmak üzere tüm Türkiye’deki ana yollara uygulanabilecek. Hesaplanan trafik kullanıcılarla paylaşılarak, kullanıcıların trafiğe uygun hareket etmeleri sağlanacak.

İlk defa yoğunluk değişimi önceden öngörülebilecek, trafik kitlenmeden çözümü geliştirilecek İSBAK mühendisleri ile Avea mühendislerinin üzerinde çalışmaya başladığı ve 2013 yılında uygulanmaya başlanacak olan proje, gerçek zamanlı trafik yoğunluğu hesaplaması sunarken, geliştirilecek trafik yoğunluğu öngörü uygulaması ile hem özel hem de kamu araçları için önemli ölçüde faydalı veriler sağlanacak.