Mari Belajar Bersama

Bismillah & Alhamdulillah, launching my own site http://www.theferianto.com/ semoga kelak dapat diambil hikmah dan manfaatnya

Tutorial Dasar Data Cleaning Dengan PDI ( Pentaho data integration )

Oleh Imam Ferianto :

Berikut adalah tutorial dasar data cleaning menggunakan PDI (kettle) :

http://www.edutechcorp.com/mmi/tutorial-data-cleaning/

Yth Saudari Silfi di pemalang

Menyambung Pertanyaan saudara tetang sistem quicount pilkada pada posting sebelumnya yang berjudul :

Contoh MySQL stored procedure untuk Broadcast SMS gammu & parsing SMS gammu quickcount
Berikut Adalah Skema Database untuk membangun sebuah Quickcount pilkada untuk bahan referensi skripsinya semoga dapat membantu dan mungkin akan berguna untuk rekan-rekan yang lain yang mengembangkan software quickcount Pilkada.

# Skema Database Quickcount Pilkada Buatan Imam Ferianto :

Bila ada yang kurang jelas silahkan berkirim Email atau YM atau FB

Atau Bila ingin memakai sistem quickcount yang lengkap dan telah berjalan lengkap dengan report , kelengkapan dll. Dapat Memesan dengan harga terjangkau kepada saya 

Demikian Terimakasih

Imam Ferianto

“   Mari Dukung Pemilu yang Bersih, Jujur, Adil & Terbuka “

Mungkin belum banyak tahu atau yang mengekpose, bahwa di MS-Acess terdapat fitur advance yang jarang kita manfaatkan, yaitu kita dapat menggunakan query command untuk hal-hal lain diluar select, insert dan update yaitu seperti CREATE TABLE, CREATE FOREIGN KEY,LIST TABLE IN DATABASE… DLL seperti di SQL server. Berikut Caranya Mengeksecute query di MS-Accces 2007:

1. Create Query

2. Close Default Window Untuk Query Wizzard

3. Pilih Query Pada Mode : Design SQL View

4. Sekarang Kita Bebas Mengetik SQL command semau kita, dan click RUN untuk menjalankannya

HAPPY CODING & FUN !!!!

Beberapa Hidden SQL command di MS-ACCESS yang mungkin sangat berguna:

- Untuk melihat “daftar table di MS-ACCESS” menggunakan perintah query:
SELECT * FROM MSysObjects WHERE Type=1 AND Flags=0

- Untuk membuat table di ms-access:
CREATE TABLE A (KEY1 INTEGER,AAA VARCHAR(10),KEY2 INTEGER PRIMARY KEY(KEY1));
CREATE TABLE B (KEY2 INTEGER,BBB VARCHAR(10), PRIMARY KEY(KEY2));

- untuk membuat constrain dan relation:
ALTER TABLE A ADD FOREIGN KEY(KEY2) REFERENCES B (KEY1);

Atau Ada Cara lain yaitu dengan melihat hidden object dan system table, caranya adalah sbb:

Anda Bingung membuat Kode PHP untuk menyimpan data2 form inputan HTML? Berikut solusinya: tips kode untuk membuat php-code otomatis untuk menangani handle request pada sembarang form inputan HTML.

##Misal Kode HTML  dengan nama file : inputan.html

<form metod=post enctype=”multipart/form-data” action=”get.php”>
Nama: <input type=”text” name=”nama” size=”50″ /><br>
Alamat: <input type=text name=”alamat” size=”100″ /><br>
<input type=submit value=”simpan” name=submit />
</form>

## Kode PHP Pembuat Handle Form , dengan nama file:  get.php

<?php
$tbl=””;
$fld=””;
$flv=””;
$comma=””;
$tblname=”xxx”;
echo “&lt;?php <br><br>”;
foreach($_POST as $key=>$val){
if(eregi(”submit”,strtolower($key))) continue;
echo “\$”.$key.”=\$_POST['".$key."'];<br>”;
$tbl.=$comma.”\n”.$key.” varchar(50) not null”;
$fld.=$comma.$key;
$flv.=$comma.”‘\$”.$key.”‘”;
$comma=”,”;
}

$sql1=”\$sql1=\”create table if not exist “.$tblname.”(id int(11) not null primary key auto_increment,”.”\n”.$tbl.”) type=myisam\”;”;
$sql2=”\$sql2=\”insert into “.$tblname.”(id,$fld) values (null,$flv)\”;”;

echo “<br>”;
echo $sql1.”<br>”;
echo “mysql_query(\$sql1);<br>”;

echo “<br>”;
echo $sql2.”<br>”;
echo “mysql_query(\$sql2);<br>”;

echo “<br>?&gt;”;

?>

Berikut adalah Cara Installasi Zoneminder Dengan DVCard Card Techwell Based chipset pada Ubuntu 10.04 (lucid)

#Buka console linux dan ketik berikut (seumpama usernya adalah stream & passwordnya stream)

stream@stream-desktop:~$ sudo -i
[sudo] password for stream:stream
root@stream-desktop:~#

colokin usb yang ada folder file myarchive dan tunggu sampai automount
lihat mountpoint

root@stream-desktop:~# mount
/dev/sdc1 on /media/USBKU type vfat (rw,nosuid,nodev,uhelper=udisks,uid=1000,gid=1000,shortname=mixed,dmask=0077,utf8=1,flush)

*COPY semua file *.deb dari /media/USBKU/myarchives:
(kalau mo install di tempat lain copy kembali dari /opt/myarchives ke USB)

root@stream-desktop:~#   cd /opt ; cp -rf /media/USBKU/myarchives .
root@stream-desktop:/opt# cd myarchives

(tulis perintah berikut dalam 1 baris)

root@stream-desktop:/opt/myarchives# dpkg -i dpkg-dev_1.15.5.6ubuntu4_all.deb  xz-utils_4.999.9beta+20091116-1_i386.deb patch_2.6-2ubuntu1_i386.deb
root@stream-desktop:/opt/myarchives# cd /opt
root@stream-desktop:/opt# chmod -R 777 myarchives
root@stream-desktop:/opt# dpkg-scanpackages myarchives /dev/null|gzip -c9 > myarchives/Packages.gz
root@stream-desktop:/opt# cd /etc/apt/;cp sources.list sources-ori.list
root@stream-desktop:/etc/apt#  echo “deb file:/opt myarchives/” > sources.list
root@stream-desktop:/etc/apt#  apt-get update
root@stream-desktop:/etc/apt#  apt-get install zoneminder -y –force-yes

(kosongkan password pada isian mysql, tekan OK saja dan lanjutkan, dst)
(isikan mail.localhost pada smarthost)

root@stream-desktop:/etc/apt# cd /etc/apache2/sites-enabled/
root@stream-desktop:/etc/apache2/sites-enabled# cp /etc/zm/apache.conf camera.conf; chmod 777 camera.conf
root@stream-desktop:/etc/apache2/sites-enabled# /etc/init.d/apache2 restart

-buka firefox dan ketik http://localhost/zm, buka links option (paling kanan), akan dibuka popup windows
-aktifkan login pada tab system: OPT_USE_AUTH      Authenticate user logins to ZoneMinder (?)      (aktifkan cek box) [x]
-click save, tutup popup window dan refresh kembali browser, login dengan user: admin , password: admin

#tambahan untuk membuat menu sebelah kiri

copy patch untuk zoneminder yang sudah dikasih menu pada file : cp -rf /media/USBKU/myarchives .
root@stream-desktop:/etc/apache2/sites-enabled# cd /opt
root@stream-desktop:/opt# cp /media/USBKU/camera.zip; unzip camera.zip
root@stream-desktop:/opt# cd /usr/share/; cp -rf zoneminder zoneminder-ori; cd zoneminder
root@stream-desktop:/usr/share/zoneminder# cp -f /opt/usr/share/zoneminder/index*.php .
root@stream-desktop:/usr/share/zoneminder# cp -f /opt/usr/share/zoneminder/menu.php .
root@stream-desktop:/usr/share/zoneminder# cp -rf /opt/usr/share/zoneminder/images2 .
root@stream-desktop:/usr/share/zoneminder# cp -rf /opt/usr/share/zoneminder/skins .
root@stream-desktop:/usr/share/zoneminder# pico menu.php

(cek HTML berikut, target untuk logout harus =”_parent”)

<li><a href=”index.php?action=logout” target=”_parent”>Logout</a></li>

-buka kembali firefox dan refresh pada alamat  http://localhost/zm

##tambahan untuk mencompile techwell dvr driver based card
(pasang dulu dvr cardnya yg chipsetnya techwell tsb)

-baca tulisanku di file: /opt/compile.html
-atau di: http://www.zoneminder.com/forums/viewtop…

root@stream-desktop:/opt# cd /opt; apt-get install git-core dpkg-dev build-essential automake gcc -y –force-yes
root@stream-desktop:/opt# cp -rf /media/USBKU/tw68-v2; cd tw68-v2 ; make
root@stream-desktop:/opt/tw68-v2# cp tw68.ko /var/lib;chmod 755 /var/lib/tw68.ko
root@stream-desktop:/opt/tw68-v2# echo “options bttv card=77 tuner=4 radio=0 triton1=0 vsfx=0 autoload=0″> /etc/modprobe.d/bttv.conf
root@stream-desktop:/opt/tw68-v2# pico /etc/rc.local

(pastekan kode berikut dan save ^X)

modprobe bttv
insmod /var/lib/tw68.ko
exit 0

(test device dmesg)
root@stream-desktop:/opt/tw68-v2#   dmesg|grep tw68

(execute /etc/rc.local)
root@stream-desktop:/opt/tw68-v2#   /etc/rc.local

(lihat /dev/video0, harusnya sudah ada)
root@stream-desktop:/opt/tw68-v2# ls -l /dev/video0

(tambahkan user www-data ke group admin dan www-data biar bisa membaca /dev/video0)
root@stream-desktop:/opt/tw68-v2# usermod -a -G video,www-data,admin  www-data

(test device dengan zoneminder)
root@stream-desktop:/opt/tw68-v2# zmu -q -d /dev/video0 -v

(jika diminta password masukkan)
root@stream-desktop:/opt/tw68-v2# zmu -Uadmin -Padmin -q -d /dev/video0 -v

(harusnya hasilnya sbb)
Video Device: /dev/video0
General Capabilities
Driver: tw68
Card: GENERIC
Bus: PCI:0000:01:02.0
Version: 0.0.4
Type: 0×5000011
………..dst ada 4 channel yang terdeteksi….

##menambahkan monitor untuk preview cam di zoneminder
-buka browser dan ketik http://localhost/zm , login dengan user:admin, password: admin
tambahkan monitor (add  new monitor)
———–general—
name:Monitor-1
Source Type:local
function:monitor atau mocord
Maximum FPS:30
Alarm Maximum FPS:30
Reference Image Blend %ge:7

———–source——     (perhatikan device path tidak boleh salah)
Device Path:/dev/video0
Capture Method:video for linux 2
Device Channel: gunakan chanel 0 s/d 3 , terngantung posisi colokan di card belakang (dicoba2 aja)
Device Format: PAL-B
Capture Palette:RGB24
Capture Width (pixels):320
Capture Height (pixels):240

–click save
(ulangi untuk channel yang lain: 1,2 & 3)

#restart komputer

#buka kembali browser firefox pada http://localhost/zm

-click link pada nama kamera untuk melihat preview kamera:
-atau click pada Montage (  Cycle / Montage ) untuk melihat
view dari : 2 atau 4 kamera langsung

#melihat dari internet
bila ingin melihat dari internet maka komputer yang terinstall zoneminder tersebut harus
diberi IP address publik atau menggunakan OpenVPN client atau pptp vpn
dan konek ke hosting yang menyediakan vpn, kemudian pc viewer
juga sama2 konek ke openvpn tersebut atau
IP dari pc-camera dimapping ke port ippublik dan port tertentu dengan perintah iptables
iptables -t NAT xxxxx
atau IP dari client tersebut di brige ke IP publik

(selesai)

NB: cara recording IPcam menggunakan ffmpeg dapat dilakukan pada console seperti contoh berikut:

http://www.redshirtlinux.com/?p=71

Berikut Beberapa Tips Kecil Untuk Yang mau membuat SMS Server Broadcast
maupun SMS Quickcount Menggunakan Gammu MySQL
SQL By Imam Ferianto

–contoh MySQL procedure untuk melakukan broadcast message lewat gammu
–untuk nomerHP pada grup tertentu
DELIMITER ;;
CREATE PROCEDURE `broadcast_grup`(IN grup char(50),IN pesan text)
BEGIN
SET @cpesan=trim(pesan);
SET @cgrup=trim(grup);
PREPARE STMT FROM “INSERT INTO outbox(TextDecoded,DestinationNumber) SELECT ?,nohp FROM nomerhp WHERE grup=?”;
EXECUTE STMT USING @cpesan,@cgrup;
END;;

–contoh MySQL procedure untuk melakukan broadcast message untuk semua nomer hp
–untuk mendeteksi pesan yang ada pada queque cukup lihat table outbox
–untuk melihat data sms yang sudah terkirim lihat pada table sentitems
DELIMITER ;;
CREATE PROCEDURE `broadcast_kampanye`()
BEGIN
DECLARE done INT DEFAULT 0;
DECLARE cnohp VARCHAR(18);
DECLARE pesan text;
DECLARE cur0 CURSOR FOR SELECT trim(isi) from messagekampanye limit 1;
DECLARE cur1 CURSOR FOR SELECT nohp from nomerhp ORDER by nohp ASC;
DECLARE CONTINUE HANDLER FOR SQLSTATE ‘02000′ SET done = 1;
OPEN cur0;FETCH cur0 INTO pesan;CLOSE cur0;
SET done=0;
OPEN cur1;
WHILE done=0 DO
FETCH cur1 INTO cnohp;
IF NOT done THEN
INSERT INTO outbox(TextDecoded,DestinationNumber) VALUES(pesan,cnohp);
END IF;
END WHILE;
CLOSE cur1;
END;;

–contoh MySQL trigger untuk melakukan parsing SMS quickcount pada gammu mysql
–contoh pesan SMS masuk yang valid:  1=100,2=100,3=100
DELIMITER ;;
CREATE trigger inbox_parse after insert on inbox for each row
BEGIN
DECLARE inohp varchar(20);
DECLARE ipesan varchar(1000);
DECLARE iwaktu datetime;
DECLARE iid int(10);
DECLARE cur_pos INT DEFAULT 1;
DECLARE stxt TEXT;
DECLARE cur_string VARCHAR(1000);
DECLARE pemisah_length TINYINT UNSIGNED;
DECLARE pemisah char(1);
DECLARE balon char(1);
DECLARE nbalon int(11) default 0;
DECLARE bcounter int(1);
DECLARE jmlsplit int(1);
DECLARE ckodetps varchar(50);
DECLARE ckodedesa varchar(7);
DECLARE tglpilih varchar(9);
DECLARE tglsekarang varchar(9);
DECLARE setupdate int(1);
DECLARE ncalona int default 0;
DECLARE ncalonb int default 0;
DECLARE ncalonc int  default 0;
DECLARE nrusak int  default 0;
DECLARE cbalon varchar(100);
DECLARE adaisian int(1);
SET inohp=replace(New.SenderNumber,’+62′,’0′);
SET ipesan=New.TextDecoded;
SET iwaktu=now();
SET iid=New.ID;
–CARI kodetps dan kodedesa untuk nomerhp tersebut apakah sudah diregister atau belum
SELECT kodetps,kodedesa INTO ckodetps,ckodedesa  from nomerhp_saksitps where nohp=replace(New.SenderNumber,’+62′,’0′) limit 1;
SET setupdate=0;
SET tglpilih=”12-4-2009″;
SET tglsekarang=(SELECT date_format(now(),’%e-%c-%Y’));
IF not isnull(ckodetps) AND not isnull(ckodedesa) THEN
SET jmlsplit=3;
SET pemisah=”,”;
SET stxt = ipesan;
SET pemisah_length = CHAR_LENGTH(pemisah);
SET bcounter=0;
SET adaisian=0;
SET nrusak=0;
–parse pesan disini
WHILE CHAR_LENGTH(stxt) > 0 AND cur_pos > 0 AND bcounter< jmlsplit  DO
SET cur_pos = INSTR(stxt, pemisah);
IF cur_pos = 0 THEN
SET cur_string = stxt;
ELSE
SET cur_string = LEFT(stxt, cur_pos - 1);
END IF;
SET cur_string=trim(replace(cur_string,” “,””));
IF TRIM(cur_string) != ” THEN
SELECT UPPER(TRIM(SUBSTRING_INDEX(cur_string, ‘=’, 2))) into balon;
SELECT trim(SUBSTRING_INDEX(cur_string, ‘=’, -1)) into cbalon;
SET @notnumeric=(SELECT cbalon  REGEXP ‘[a-zA-Z]+’);
if @notnumeric then
SET setupdate=-1;
else
SET nbalon=(SELECT cast(cbalon as unsigned) );
SET  bcounter=bcounter+1;
if balon=’1′ then
SET ncalona=nbalon;
elseif balon=’2′ then
SET ncalonb=nbalon;
elseif balon=’3′ then
SET ncalonc=nbalon;
SET adaisian=1;
end if;
SET setupdate=setupdate+1;
end if;
END IF;
SET stxt = SUBSTRING(stxt, cur_pos + pemisah_length);
END WHILE;
IF setupdate=3 THEN
update tps SET calona=ncalona,calonb=ncalonb,calonc=ncalonc,total=ncalona+ncalonb+ncalonc+nrusak,sah=ncalona+ncalonb+ncalonc,last_update=iwaktu,last_nomerhp=concat(last_nomerhp,’,’,inohp),updatecount=updatecount+1 where kodetps=ckodetps and kodedesa=ckodedesa;
INSERT INTO outbox(TextDecoded,DestinationNumber) VALUES(”Terimakasih Data Quickcount TPS Anda telah diterima calona Center”,inohp);
ELSE
INSERT INTO outbox(TextDecoded,DestinationNumber) VALUES(”Maaf format sms anda salah,mohon baca panduan lagi!”,inohp);
END IF;
ELSE
INSERT INTO outbox(TextDecoded,DestinationNumber) VALUES(”Maaf nomerhp anda belum teregistrasi sebagai saksi TPS!”,inohp);
END IF;
END;;

Silahkan kontak saya untuk lebih detail

Untuk membuat sms server dengan gammu mysql ubuntu caranya cukup mudah yaitu :

1. PC anda harus terkoneksi dengan internet

2. Masuk ke software administration install gammy-mysql atau terminal console dan install gammu dengan apt-get

3. syntak apt-get untuk install gammu (ikuti step2 didalamnya):      sudo apt-get install gammu gammu-smsd wvdial -y

4. copy contoh script sql bawaan gammu

cp /usr/share/doc/gammu/examples/config/smsdrc.gz   /etc/gammu-smsdrc.gz ; gunzip /etc/gammu-smsdrc.gz

cp /usr/share/doc/gammu/examples/config/mysql.sql.gz /home/imam/ ; gunzip mysql.sql.gz

5. buat databasenya gammu (smsd)

mysql -u root -e "create database smsd"

mysql -u root smsd < /home/imam/mysql.sql

6. colokan modem atau kabel profilik USB hp, dan test dengan perintah dmesg & lsusb & wvdialconf untuk melihat posisi deteksi modem:

sudo dmesg ; sudo lsusb ; sudo wvdialconf

7. edit /etc/gammu-smsdrc   & edit juga /etc/gammurc:

sudo pico /etc/gammu-smsdrc

[gammu]

;sesuaikan port dengan hasil deteksi diatas

port = /dev/ttyACM0
connection = at115200
logfile = /var/log/smsdlog
startinfo = yes

[smsd]

;jika tidak ada pin pada kartu kosongkan saja

PIN = 1234
logfile = /var/log/smsdlog
checksecurity = 1
phoneid = siemenC55
user = root
password = 123456
pc = localhost
database = smsd

8.test identitas device dengan gammu

gammu –identify

9. test gammu untuk mengirim sms dengan console

echo 'Testing mengirim SMS pake gammu' | sudo gammu sendsmsdsms TEXT 081327525373


10. bila perintah diatas telah berhasil mengirim sms jalankan service gammu-smsd

sudo /etc/init.d/gammu-smsd start

bila ada kesulitan silahkan hubungi kami

Mengcompile External User Defined Function C++ Shell Exec Untuk MYSQL 5 Versi Windows

User Defined Function Merupakan salah satu fitur dari mysql yang mengijinkan kita membuat fungsi yang dapat dipanggil dan dieksekusi sebagai fungsi yang dapat disertakan dalam query.

Jenis User defined function atau dapat kita sebut UDFini dapat berupa function dalam bentuk SQL yang mirip stored procedure maupun fungsi external yang dibuat oleh program lain misalnya C++ yang dalam windows biasanya berupa file dynamic link library (.dll) atau file shared object ( .so) dalam linux.

Nah yang akan kita bahas disini adalah mengcompile external UDF yang dibuat dalam bahasa C++ menggunakan Express Visual C++ 2008. Mengapa kita menggunakan external UDF ini alasannya adalah karena kita ingin agar mysql memiliki fungsi untuk mengeksekusi external program langsung melalui pemanggilan query misalnya Shell exec untuk sekedar mengeksekusi file .bat atau file .sh maupun file executable lain yang berada dalam computer dimana mysql terinstall dimana dengan fungsi SQL biasa hal ini mustahildilakukan untuk saat ini.

Kegunaan external UDF ini beragam dan luas, dalam kasus ini UDF akan saya gunakan untuk melakukan query ke MODEM lewat perintah hyperterminal dengan format AT Command untuk melakukan pengecekan pulsa misalnya mengirimkan perintah *888# untuk melengkapi software SMS server yang aku buat menggunakan gammu-smsd, php dan mysql. Mengapa UDF dan tidak menggunakan fungsi PHP, alasan lainnya adalah fungsi otomatis akan dieksekusi pada level trigger table. Dimana jika ada query untuk mengirim SMS keluar maka langsung dilakukan pengecekan pulsa lewat AT Command (yang sementara belum disupport gammu-smsd) apakah pulsa masih ada atau tidak, jika pulsa sudah limit maka kirim notifikasi ke pemilik HP bahwa pulsa perlu diisi ulang dan pengiriman SMS dapat ditunda setelah pulsa baru diterima. Manfaat lain yang dapat diperoleh juga misalnya kita ingin melakukan otomatisasi proses lewat gammu-mysql, yaitu misalnya ketika ada perintah untuk mematikan computer yang kita kirim lewat SMS maka mysql dapat langsung mengirimkan lewat perintah shellexec untuk shutdown ataupun mengirimkan berbagai perintah misalnya ke COM port dan lainnya pada event on insert menggunakan trigger dan memanggil UDF.

Selanjutnya Marilah kita mulai mengcompile UDF. Tool yang diperlukan untuk melakukan ini adalah:

- Windows XP, Vista atau Windows 7, (disini saya memakai windows 7 Ultimate)

- Windows SDK (sekitar 1.3 giga), dapat di download di http://www.microsoft.com

- Microsoft Visual Studio C++ 2008 (sekitar 800Meg), dapat di download di

 http://www.microsoft.com

- MySQL 5.1 lengkap dengan source C++ Header, dapat di download di http://dev.mysql.com

- Contoh mysql_udf yang dapat didownload di , http://www.xcdsql.org/MySQL/UDF/lib_mysq…

Note: Bila ada membutuhkan dan memiliki bandwith terbatas bisa memesan DVD copy ke saya

1.Download dan Install Windows SDK (Ikuti semua step dan biarkan default, next sampai finish)

2.Download dan Install Visual Studio C++ 2008 (Ikuti semua step dan biarkan default, next sampai finish)

3.Download dan Install MYSQL 5 (gunakan petunjuk dibawah ini)

Pilih Complete atau custom install

Sertakan mysql header C++ (custom install)

Set configurasi setting default

Setup Pada Port 3306 dan install sebagai windows services “MySQL”

Sementara Biarkan Setting Security default (uncek) / default user adalah root dan tanpa password

Periksa apakah service MySQL telah hidup (tekan ctrl+R ) dan run services.msc untuk membuka konfigurasi windows services

Cek apakah MySQL server service sudah running atau belum, jika belum klik kanan dan klik start

4.Melakukan Kompilasi “ lib_mysqludf_exec “

Buka Visual Studio C++ Express 2008

………………….. bersambung………..

Referensi:

 http://rpbouman.blogspot.com/2007/09/cre…