ビッグデータとかなんだとか言われてるけれども、
統計解析をするのが企業だけじゃなくて、ユーザ側からしてもいいよねってことで
javascriptでテキストマイニングをしてみた。
テキストデータを分かち書きするためには、tinysegmenterを使わせてもらいました。
そこから、tfidf値で値付けをして、k-means++でクラスタリングをした。
javascriptで作ったついでにブラウザで試せるサンプルも作った。気軽にテキストマイニングを試してもらえるとうれしい。
サンプルアプリケーション Text Mining(javascript)
コードは↓
github textmining-js
リンク
tinysegmenter
Data Mining Algorithms In R/Clustering/K-Means
Introduction to Information Retrieval
nodejsを使う上での簡単な基礎知識としてのメモ
まずクライアントサイドで動作をするjavascriptをサーバ上で動作させる為のサーバ
内部ではjitコンパイラであるchromeのv8 VMが使われている。
簡単な使用方法
npm -g install hoge ←グローバルインストール npm install hoge ←ローカルインストール
参考リンク
Node.js 日本ユーザグループカーネルなどのソースコードを読むために便利なvimplugin（ctagsも）。
ctagsはタグファイルを作成するもので、vimでタグジャンプできるようになる。
ctagsのインストール
pacman -S ctags
カレントディレクトリからホームディレクトリまでtagsファイルを読込む設定
~/.vimrc
if has('path_extra')
set tags+=tags;/Users/myuser
endifctags -R ←カレントディレクトリにtagsファイルが生成
開いてるファイルのtaglistを表示する。
~/.vimrc
set tags+=tags
tagsファイルを読み込めばよいので、ctagsの設定がされていれば必要ない。
翻訳ができるplugin。
ソースコードを読んでいる時とかに分からない単語があったら翻訳できる。
~/.vimrc
"for nodejs
let g:goog_user_conf = {'langpair': 'en|ja','cmd': 'node' ,'v_key': 'T' }まず、以下がhoverを使用したsampleである。
リンクの表示方法としてよく見る方法をかなり簡素にしている。
以下が今回使用したstyle要素である。
a#sample{
line-height:38px;
color:#444;
background:#AAA;
}
a#sample:hover{
color:#AAA;
background:#444;
}
・時刻の設定に関する用語説明
PCにはシステムクロックとハードウェアクロックの2種類の時計があり、
表面上で普段目にしている時間はシステムクロックの時間である。
PCの時間が狂ってしまっている場合、まず大抵の場合システムクロックがずれていて、
ハードウェアクロックは正常な時間を示している。
なので
hwclock --show
とhwclock(ハードウェアクロック)の時間を確認すれば、正しい時間を示しているはず。
その場合は以下のコマンドでハードウェアクロックの時間をシステムクロックに合わせる事で時間を直す事ができる。
hwclock --hctosys
もしも hwclock --show で表示される時間もずれていた場合は、
ntpを使うか、手動で合わせるかなのだが、
以下に手動で合わせる方法を書いておく。
date MMDDhhmmYYYY ←システムクロックの時間を指定した時刻に合わせる
hwclock --systohc ←(システムクロック→ハードウェアクロック)
hwclock --hctosys
または
hwclock --set --date="YYYY-MM-DD hh:mm:ss"
hwclock --hctosys
環境変数の設定とその関連事項であるシェル変数のいろはについて簡単にまとめておく
大抵の場合パイプかリダイレクションですむが、
コマンドの出力を一時的に覚えさせておきたい時に使うと便利。
シェル変数techに文字hogeを格納
tech="hoge" ←Bシェルの場合(※=の前後に空白は入れない)
set tech = "hoge" ←Cシェルの場合
echo $tech ←格納された変数を表示
コマンドを変数として格納しておき、evalで実効することもできる。
tech='cat hoge.txt |grep hoge' ←コマンドをシェル変数に格納
echo $tech ←コマンドを表示
eval $tech ←コマンドを実効
``(バッククォート)か$()を使うことでコマンドの結果を変数に格納することができる。
tech=$(cat hoge.txt |grep hoge) ←コマンドの結果をシェル変数に格納
echo $tech ←変数の表示
日本語環境の設定などでも環境変数の設定は行っていたのだが、
以下は環境変数のシェルコマンドでの扱いの基本的な部分である。
環境設定をシェルから変更する
Cシェルの場合(setenv)
setenv ENVNAME "hoge"
Bシェルの場合(export)
ENVNAME1="hoge1"
ENVNAME2="hoge2"
export ENVNAME1 ENVNAME2 ... ←exportで変数を環境変数にできる。
export ENVNAME1="hoge1" ENVNAME2="hoge2" .. ←値の格納も同時にできる。
printenvで環境変数の一覧を表示できる。
printenv
以上の設定方法では電源を落とすと環境は消えており
login時には再び設定しなおさなくてはならない。
なので実際に環境設定をしようとするときには、
[/etc/profile.d/]以下にshファイルとして設定を追加することになる。(arch linuxの場合)
入力が0,出力が1,エラーが2と対応していることを覚ればいい。
また、通常の場合、入力はキーボード、出力とエラーは画面とつながっている。
チャネル1の接続先を画面からファイルに変更し、出力がファイルに書き出される。
出力を切り替えるために出力リダイレクションという。
また別の出力先としてエラー出力があるが、これはエラーを出力するためのチャネルであり上のコマンドでも、チャネル1の接続先のみがファイルに接続されていて、標準エラー出力のチャネル2は画面に接続されたままなのでエラーは画面で確認することができる。
以下に使うであろうパターンを列挙しておく。
出力リダイレクションパターン
% command argument … > file 2>&1 ←チャネル1にチャネル2を合流パイプラインは前方のコマンドの出力であるチャネル1と後方のコマンドの入力であるチャネル0を接続するものである。
コマンドの実効を制御するメタキャラクタとしては上のようなものがある。
AURとABSに関係する記事が分かれているのでまとめとして書いておく。
具体的な方法は Arch linuxでAURとABSを使う方法に。
簡単な流れとしては、
なんだけれども、3.makepkgでビルドをする時、
makepkg.confを設定しておくと自分の環境に合わせてビルドをすることが可能になる。
具体的な方法は
makepkg.confの最適化に。
※デフォルトの設定では多くのPCにインストールが可能なパッケージを作成する設定になっている。
function loadXMLDoc(dname){
if (window.XMLHttpRequest){
xhttp=new XMLHttpRequest();
}else{
xhttp=new ActiveXObject("Microsoft.XMLHTTP");
}
xhttp.open("GET",dname,false);
xhttp.send("");
return xhttp.responseXML;
}
txtbox = document.getElementById("canvas");
xmlDoc = loadXMLDoc('./etc/data.xml')
txtbox.innerHTML = xmlDoc.getElementsByTagName("title")[0].childNodes[0].nodeValue;
・getElementByTagNameは選択したタグのノードリストを返す。cat /proc/cpuinfo
# /etc/makepkg.conf
########################################################################
# ARCHITECTURE, COMPILE FLAGS
#########################################################################
CFLAGS="-march=atom -O2 -fomit-frame-pointer -pipe"
CXXFLAGS="${CFLAGS}"
:%s /h4/h5/g#h4->h5 :%s /h3/h4/g#h3->h4 :%s /h2/h3/g#h2->h3 :%s /h4/h2/g#h4->h2タイトルがh2になっているはず。
UPDATE pg_database SET datistemplate = FALSE WHERE datname = 'template1'; DROP DATABASE template1; CREATE DATABASE template1 WITH TEMPLATE = template0 ENCODING = 'UNICODE'; UPDATE pg_database SET datistemplate = TRUE WHERE datname = 'template1'; UPDATE pg_database SET datallowconn = FALSE WHERE datname = 'template1';
createdb \l ->UTF8になってる。
pacman -S postgresql rc.d start postgresql deamon(postgresql)
createuser -s -U postgres #Enter name of role to add: [いつもloginしているuserの名前]
#通常userから sudo -i -u postgres #rootから su root su - postgres
createdb name createdb -> username のdbが作成 dropdb name
update_interval 5
alignment middle_right
background yes
double_buffer yes
total_run_times 0
stippled_borders 0
border_width 2
default_color grey
default_outline_color white
default_shade_color grey
draw_borders no
draw_graph_borders yes
draw_outline no
draw_shades no
gap_x 40
gap_y 40
minimum_size 100 500
maximum_width 500
cpu_avg_samples 2
net_avg_samples 2
no_buffers yes
out_to_console no
out_to_stderr no
extra_newline no
own_window yes
own_window_class Conky
#own_window_transparent yes
#own_window_type desktop
own_window_type dock
own_window_hints undecorated,below,sticky,skip_taskbar,skip_pager
stippled_borders 0
uppercase no
use_spacer right
mpd_host 0.0.0.0
mpd_port 6600
use_xft yes
#xftfont Courier 10 Pitch 426:size=8
xftfont DejaVu Sans:size=8
xftalpha 0.8
# fef7b2 e18522}
# stuff after 'TEXT' will be formatted on screen
TEXT
${if_running audacious}${execpi 3 ~/.conky/audacious-info.sh}${endif}
${font Arial:size=9}${color #e43526}System ${color DarkSlateGray}${hr 2}${font}
${color #597DB2}Kernel : ${color grey}$kernel ${color #597DB2}${alignr}Uptime: ${color grey}$uptime
${color #597DB2}Host : ${color grey}${nodename}${color #597DB2}${alignr}${time %Y.%m.%d} ${color grey}${time %H:%M}${color}
${color #597DB2}CPU : ${color grey}${freq}MHz${alignr}$cpu% ${color #597DB2}${cpugraph 6,150 000000 0000ff}
${color #597DB2}RAM : ${color grey}$memmax${alignr}$memperc% ${color #597DB2}${membar 6,150}
${color #597DB2}Processor temperature: $color${acpitemp}°C ${color #597DB2}${alignr}Battery: $color ${battery}
${font Arial:size=9}${color #e43526}Disk ${color DarkSlateGray}${hr 2}${font}
${color #597DB2}/ ${alignr}: ${color grey}${fs_size /} ${fs_used_perc /}% ${color #597DB2}${fs_bar 6,150 /}
${color #597DB2}/home ${alignr}: ${color grey}${fs_size /home} ${fs_used_perc /home}% ${color #597DB2}${fs_bar 6,150 /home}
${font Arial:size=9}${color #e43526}Network ${color DarkSlateGray}${hr 2}${font}
${color #597DB2}Local IP : ${color grey}${addr wlan0} ${alignr}${color #597DB2}Public IP : ${color grey}${texeci 1800 ~/.conky/externalIp.sh}
${color #597DB2}Down : ${color grey}${downspeed wlan0}${color #597DB2}${alignr}Total : ${color grey}${totaldown wlan0}
${color #597DB2}Up : ${color grey}${upspeed wlan0}${color #597DB2}${alignr}Total : ${color grey}${totalup wlan0}
${font Arial:size=9}${color #e43526}Processes ${color DarkSlateGray}${hr 2}${font}
${color #597DB2}Processes: ${color grey}$processes ${alignr}${color #597DB2}Running: ${color grey}$running_processes
${color #597DB2}CPU Usage ${alignr}PID CPU% MEM%
${color grey}${top name 1}${alignr}${top pid 1} ${top cpu 1} ${top mem 1}
${color grey}${top name 2}${alignr}${top pid 2} ${top cpu 2} ${top mem 2}
${color grey}${top name 3}${alignr}${top pid 3} ${top cpu 3} ${top mem 3}
${color #597DB2}Memory Usage
${color grey}${top_mem name 1}${alignr}${top_mem pid 1} ${top_mem cpu 1} ${top_mem mem 1}
${color grey}${top_mem name 2}${alignr}${top_mem pid 2} ${top_mem cpu 2} ${top_mem mem 2}
${color grey}${top_mem name 3}${alignr}${top_mem pid 3} ${top_mem cpu 3} ${top_mem mem 3}
${font Arial:size=9}${color #e43526}Weather ${color DarkSlateGray}${hr 2}${font}
${color grey}${texeci 3600 weather}
modprobe usb-storage
dmesg|grep "sd[a-z]"
fdisk -1
blkid -o list -c /dev/null
ls -lF /dev/disk/by-uuid/
mkdir /mnt/usbstick
mount device_node /mnt/usbstick
mount -U UUID /mnt/usbstick
sudo mount -o gid=users,fmask=113,dmask=002 /dev/sdb1 /mnt/usbstick
pacman -S menumaker #menu.xmlの自動生成 mmaker -v OpenBox3 #menu.xmlがあったら上書きしない mmaker -vf OpenBox3 #forceでmenu.xmlがあっても上書きする。
pacman -S archlinux-themes-slim #テーマ一覧 ls /usr/share/slim/theme/ #テーマプレビュー、loginの所にexitで終了 slim -p /usr/share/slim/theme/[theme name] #/etc/slim.confの編集 current_thema [theme name] #<-変更したい[theme name]
#tintwizardの場所 pacman -Ql tint2 #->tint2 /usr/bin/tintwizard.py python2 /usr/bin/tintwizard.py #GUI起動
tint2 -c ~/.config/tint2/[savefilename1] & tint2 -c ~/.config/tint2/[savefilename1] &
pacman -S abs base-devel vim /etc/abs.conf##編集 REPOS=(core extra community testing etc)#<-!を全てはずす abs #<-absツリーが/var/absにできる
wget https://aur.archlinux.org/packages/sh/shutter/PKGBUILD
makepkg -s ##引数はいらない、PKGBUILDが読み込まれる.
#perl-gtk2-imageviewがない
wget https://aur.archlinux.org/packages/pe/perl-gtk2-imageview/PKGBUILD
makepkg -s
sudo pacman -U perl-gtk2-imageview*.pkg.tar.xz #makepkgで*pkg.tar.xzができてpacman -U でインストールできる
#perl-gtk2-unique
wget https://aur.archlinux.org/packages/pe/perl-gtk2-unique/PKGBUILD
makepkg -s
pacman -U *.pkg.tar.xz
#perl-proc-simple
wget https://aur.archlinux.org/packages/pe/perl-proc-simple/PKGBUILD
makepkg -s
pacman -U *.pkg.tar.xz
#省略
# shutter の PKGBUILDがあるフォルダ
makepkg -s
sudo pacman -U *.pkg.tar.xz
makepkg -c #clean のことで、複数ファイルのビルド、アップデート、などで使える。廃 止されたファイルなどを新しいビルドにしてくれる。 makepkg -s #もし依存関係が求められるとしたら、失敗をする前に警告をしてくれる。 makepkg -i #pacman -Uまでやってくれる。
pacman -S xorg-server xorg-xinit xorg-utils xorg-server-utils mesa xorg-twm xorg-xclock xterm
lspci|grep VGA pacman -Ss xf86-video|grep less pacman -S xf86-video-servage
pacman -S xf86-video-nouveau pacman -S nouveau-dri
pacman -Ss xf86-input|less pacman -S xf86-input-synaptics
pacman -S dbus slim consolekit openbox obmenu obconf ibus ibus-anthy thunar thunar-archive-plugin thunar-media-tags-plugin thunar-volman tint2 rc.d start dbus
cp /etc/skel/.xinitrc ~/.xinitrc
mkdir -p ~/.config/openbox
cp /etc/xdg/openbox/{rc.xml,menu.xml,autostart,environment} ~/.config/openbox
numlock off
ssessions openbox
default_user hoge
#current_thema hoge
export PATH=$HOME/bin:$PATH
export LC_CTYPE=ja_JP.utf8
export XMODIFIERS=@im=ibus
export GTK_IM_MODULE=ibus
export QT_IM_MODULE=ibus
/usr/bin/ibus-deamon --xim -d &
exec ck-launch-session dbus-launch openbox-session
Section "InputClass"
Identifier "evdev keyboard catchall"
MatchIsKeyboard "on"
MatchDevicePath "/dev/input/event*"
Driver "evdev"
Option "XkbRules" "xorg" <-追加
Option "XkbModel" "jp106" <-追加
Option "XkbLayout" "jp" <-追加
EndSection
・/etc/inittabの編集
#id:3:initdefault: <-コメントに id:5:initdefault: <-コメントを外す #x:5:respawn:/usr/bin/xdm -nodaemon <-コメントに x:5:respawn:/usr/bin/slim >/dev/null 2>&1 <-コメントを外すデーモンにslimの追加 deamon=(slim) これで動作するはず、 tint2はautostartに tint2 & とか追加すれば動く。 参考リンク Archwiki::Openbox Archwiki::Beginners' Guide openboxhelp::Help:Autostart
iptablesはpacmanから入手できる。
pacman -S iptables
# iptables -N TCP # iptables -N UDP
# iptables -P FORWARD DROP # iptables -P OUTPUT ACCEPT
全てのトラフィックを破棄し、必要なものを指定して許可することがセキュアなファイヤーウォールの作り方らしい。
# iptables -P INPUT DROP
# iptables -A INPUT -m conntrack --ctstate RELATED,ESTABLISHED -j ACCEPT
loopbak(lo)interfaceは多くのサービスやアプリケーションに必要である。
# iptables -A INPUT -i lo -j ACCEPT
invalid状態のトラフィックを全て破棄すること。
トラフィックは状態により、NEW,ESTABLISHED,RELATED,INVALIDという4つのカテゴリに分けられる。
そして、"stateless"firewallよりもセキュアな"stateful"firewallを作ることが可能。
# iptables -A INPUT -m conntrack --ctstate INVALID -j DROP
PCがルータでなくなってから、他に状態NEWのICMPトラフィックは許可する必要はない。
# iptables -A INPUT -p icmp --icmp-type 8 -m conntrack --ctstate NEW -j ACCEPT
トランスポート層でありネットワーク層のIPとセッション層のプロトコル橋渡しする。
新しい接続はsyn packetで始まる。
# iptables -A INPUT -p udp -m conntrack --ctstate NEW -j UDP # iptables -A INPUT -p tcp --syn -m conntrack --ctstate NEW -j TCP
これはデフォルトのLinuxのふるまい(RFC準拠)を模倣しており、接続停止の素早い許可と整理がなされる。
REJECT:dropとは違い、拒絶したことが送り側に返される。
RST:syn を送り、接続できなかった場合RSTパケットが送られてくる。
# iptables -A INPUT -p udp -j REJECT --reject-with icmp-port-unreachable # iptables -A INPUT -p tcp -j REJECT --reject-with tcp-rst
これはデフォルトのLinuxの振る舞いを模倣している。
# iptables -A INPUT -j REJECT --reject-with icmp-proto-unreachable
以下ではFTP,SMPT,WEBを許可している。
# iptables -A TCP -p tcp --dport 20 -j ACCEPT # iptables -A TCP -p tcp --sport 20 -j ACCEPT # iptables -A TCP -p tcp --dport 21 -j ACCEPT # iptables -A TCP -p tcp --sport 21 -j ACCEPT
# iptables -A TCP -p tcp --dport 25 -j ACCEPT # iptables -A TCP -p tcp --sport 25 -j ACCEPT
# iptables -A TCP -p tcp --dport 80 -j ACCEPT # iptables -A TCP -p tcp --sport 80 -j ACCEPT
spoofing attackに対応するために/etc/sysctl.confを編集する。
vim /etc/sysctl.confnet.ipv4.conf.all.rp_filter=1
echo リクエストをブロックする。
vim /etc/sysctl.confnet.ipv4.icmp_echo_ignore_all = 1
また、レート制限をすることは不正行為をコントロールするためには良い方法といえる。
iptables -A INPUT -p icmp --icmp-type echo-request -m limit --limit 30/min --limit-burst 8 -j ACCEPT iptables -A INPUT -p icmp --icmp-type echo-request -j DROP
ここまで行った操作を保存する。
# /etc/rc.d/iptables save
boot時にiptablesが読み込まれるようにdaemonの設定をする。
DAEMONS=(... iptables network ...)
サーバ用ではない個人用のPCのファイアーウォールの設定としてArch linuxに以上のiptablesの設定をした。
前回に引き続きArch linuxでのsoundの設定についてまとめておく
サウンドドライバについて
まずalsaとossという２つのサウンドドライバのどちらを使うべきなのかで迷ったが、
Archwikiによると現在はalsaが主流でArch linuxにはデフォルトで入っているということ 。
以下にpacmanでインストールするsound関係list
pacman -S alsa-utils alsa-oss alsa-plugins alsamixer <-sound調節 speaker-test -c 2 <-soundtest alsactl store <-設定保存/etc/rc.confのdeamon=(…@alsa…)と追加 以上の設定でsound設定は問題ないはず。
手持ちのノートPCにArch linuxのインストールを行ったので、
自分の行った設定を忘れたときなどの為にまとめておく。
公式のHPからイメージをDL。その後、
インストールCDを入れて立ち上がったら、まずkeymapの選択を行う。
kmを入力しその中からjp106を選択する、これで日本語のkeymapになる。次のフォントはskipでよい。
keymapの選択が終わったら
/arch/setupでarchlinuxのインストールが始まる。
/etc/rc.conf
KEYMAP="jp106"
LOCALE="ja_JP.utf8"
HARDWERECLOCK=""<-localtime or UTC
HOSTNAME="hoge"
/etc/locale.gen
使用をしてもよいロケールのコメントアウトをはずす。
/etc/hosts
rc.confで入力したhostname は自動で入力されているので編集する必要はないかもしれない。
/etc/pacman.d/mirrorlist
日本のサーバーのチェックを外しておく。
インストール後,pacman -S pacman-mirrorlist で新たなミラーリストを入手可能
GRUBの所で編集画面に入るが、他にOSがなければ編集の必要はない。
あるならば、ファイルの末尾の部分に使用するOSを追加していく。
ここまでで簡単にだがインストール作業が終了。
とりあえずリブートを行っておく。rebootで再起動ができる。haltでシャットダウン。
rebootパッケージのアップデートも行っておく。
pacman -Syu
一般ユーザを作っておき、そちらで作業を行う。
adduser ・username:hoge ・Aditional group:audio,lp,optical,storage,video,wheel,games,power,scanner
以下の設定はユーザがwheelグループに含まれて入る場合に有効となる。
visudo #%wheel ALL=(ALL) ALL ＜ーコメントアウトを外す
wheel グループのユーザはsudoが使用可能になる。
使用しているデバイスを見る。
lspci |grep -i net
ここからはbroadcomのBCM4312用の設定についてである。Archwikiには他の場合についても書いてある。
pacman -S b43-fwcutter b43-fwcutter -l
以下のページからファームウェアをダウンロード
http://linuxwireless.org/en/users/Drivers/b43
ファームウェアの展開
tar xjf broadcom-wl-[firmware_version].tar.bz2 export FIRMWARE_INSTALL_DIR="/lib/firmware" b43-fwcutter -w "$FIRMWARE_INSTALL_DIR" broadcom-wl-[firmware_version]/linux/wl_apsta.o
無線LANを有効にする
modprobe b43 ip link set wlan0 up iwlist wlan0 scan
ここで無線LANがWPA/WPA2だったのでwpa_supplicant 及び wpa_passphrase を使用する
mv /etc/wpa_supplicant.conf /etc/wpa_supplicant.conf.original wpa_passphrase ESSID "my_secret_passkey" > /etc/wpa_supplicant.confを行い
wpa_supplicant -B -Dwext -i wlan0 -c /etc/wpa_supplicant.confでLANに接続
dhcpcd wlan0でインターネットに接続できるようになる。