2014年10月5日日曜日

gitolite3 で、hook スクリプトを設定する

git リポジトリで、hook スクリプトを設定したくなったので、調べてみたら、gitolite3 の設定で、同様のことが出来るようだ。
しかも、リポジトリ毎のスクリプト実行設定はもちろん、スクリプト自体も、gitolite 管理用リポジトリ(gitolite-admin)に、ファイルを追加すると、サーバーサイドで実行してくれるようだ。
仕組みは、管理用リポジトリの push を行った時点で、対象リポジトリの hooks に、設定したシェルのリンクを作成するようだ。gitolite 3.5.3.1-2 時点では、同一フック種に複数のシェルを指定することはできない。3.6 以降では、複数のシェルを設定できるようだが、未確認。

前提条件

  • gitolite3 や git は、インストールおよび設定済みとする。
  • gitolite3 の基本的な設定や利用方法は、習得済みとする。
  • gitolite3 ユーザーのホームディレクトリは、/var/lib/gitolite3 とする。
  • gitolite3 のリポジトリは、gitolite3 ユーザーのホームディレクトリに設定してあるものとする。

update フックの設定

1.gitolite3 のサーバー上の設定ファイルを変更する。

sudo vi /var/lib/gitolite3/.gitolite.rc
以下の行を、コメントインする。
# LOCAL_CODE                =>  "$rc{GL_ADMIN_BASE}/local",
LOCAL_CODE                =>  "$rc{GL_ADMIN_BASE}/local",

これで、gitolite 管理用リポジトリに登録した hook スクリプトが、利用可能になる。

2.gitolite 管理用リポジトリ(gitolite-admin)に update フックファイルを登録

以下のファイルを作成。LF 改行にすること。
gitolite-admin/local/VREF/hello

ファイルの内容は、以下のようにする。
#!/bin/bash
echo "Hello update"

hello ファイルを git add する
ファイルのパーミッションを設定する。ここ重要。
git update-index --chmod=+x hello

TortoiseGit の場合は、hello ファイルを右クリック⇒プロパティ
Git タブを選択⇒実行可能(+x) チェックボックスをチェックで、上記のコマンド入力と同等の状態となる。

コミットおよびサーバーへプッシュする。

3.各リポジトリに update フック設定を行う。

以下のファイルを修正し、最後の行を追加する。
gitolite-admin/conf/gitolite.conf

@admin = admin shpad
repo public/program/HelloClosureLibrary
    RW+     =   @admin
    R       =   @all
    -   VREF/hello = @all

コミットおよびサーバーへプッシュする。

4.動作確認

前述の設定を行ったリポジトリに対して、コミットを行ってみる。

git.exe push -v --progress  "origin" master:master

Pushing to ssh://gitolite3@yebisu/public/program/HelloClosureLibrary
Counting objects: 9, done.
Delta compression using up to 8 threads.
Compressing objects: 100% (3/3), done.
Writing objects: 100% (5/5), 378 bytes | 0 bytes/s, done.
Total 5 (delta 1), reused 0 (delta 0)
remote: Hello update
remote: From /var/lib/gitolite3/repositories/public/program/HelloClosureLibrary
remote:    7a5bd94..2af6ecd  master     -> origin/master
remote: Updating 7a5bd94..2af6ecd
remote: Fast-forward
remote:  js/src/common.js | 4 ++++
remote:  1 file changed, 4 insertions(+)
To ssh://gitolite3@yebisu/public/program/HelloClosureLibrary
7a5bd94..2af6ecd  master -> master
updating local tracking ref 'refs/remotes/origin/master'

成功 (2839 ms @ 2014/10/05 16:20:12)


うまく動いているようだ。
サーバー側のスクリプトの実行結果は、remote: の行に出力されている。
エラー時もここに表示される。便利。

その他フック設定

1.gitolite3 のサーバー上の設定ファイルを変更する。

sudo vi /var/lib/gitolite3/.gitolite.rc
以下の行を、コメントインする。
# LOCAL_CODE                =>  "$rc{GL_ADMIN_BASE}/local",
LOCAL_CODE                =>  "$rc{GL_ADMIN_BASE}/local",

# 'repo-specific-hooks',
'repo-specific-hooks',

2.gitolite 管理用リポジトリ(gitolite-admin)にその他フックファイルを登録

以下のファイルを作成。LF 改行にすること。
gitolite-admin/local/hooks/repo-specific/hello

ファイルの内容は、以下のようにする。
#!/bin/bash
echo "Hello post-receive"

hello ファイルを git add する
ファイルのパーミッションを設定する。ここ重要。
git update-index --chmod=+x hello

TortoiseGit の場合は、hello ファイルを右クリック⇒プロパティ
Git タブを選択⇒実行可能(+x) チェックボックスをチェックで、上記のコマンド入力と同等の状態となる。

コミットおよびサーバーへプッシュする。

3.各リポジトリにその他フック設定を行う。

以下のファイルを修正し、最後の行を追加する。
フックの動作タイミング = 前述のフックスクリプト。
gitolite-admin/conf/gitolite.conf

@admin = admin shpad
repo public/program/HelloClosureLibrary
    RW+     =   @admin
    R       =   @all
    -   VREF/hello = @all
    option hook.post-receive = hello


コミットおよびサーバーへプッシュする。

4.動作確認

前述の設定を行ったリポジトリに対して、コミットを行ってみる。

git.exe push --progress  "origin" master:master

Counting objects: 9, done.
Delta compression using up to 8 threads.
Compressing objects: 100% (3/3), done.
Writing objects: 100% (5/5), 375 bytes | 0 bytes/s, done.
Total 5 (delta 1), reused 0 (delta 0)
remote: Hello update
remote: Hello post-receive
To ssh://gitolite3@yebisu/public/program/HelloClosureLibrary
79615f9..a209006  master -> master

成功 (2433 ms @ 2014/10/05 17:13:39)


2014年8月16日土曜日

GitWeb で、リポジトリを参照できるように、設定してみる。

概要

GitWeb を利用して、以下のような条件で、リポジトリを Web で参照できるように、設定してみた。

  • Gitolite3 管理用リポジトリは、公開対象から除外する。
  • Gitolite3 管理用リポジトリで、公開設定が行える。

参考サイト




利用ソフト

  • Apache2 (2.4.7-1ubuntu4.1)
  • git (1:1.9.1-1)
  • Gitolite3 (3.5.3.1-2)
  • GitWeb (1:1.9.1-1)


前提条件

Ubuntu 14.04 上で、設定を行った。
Apache2 および git は、インストール済みとする。

Gitolite

Gitolite3 のインストールおよび設定は、以下のサイトを参考に行った。
Gitolite3 パッケージ名は、gitolite3 と、指定する必要があるので注意。gitolite は、バージョン2.3で古かった。
Gitolite3 ユーザーは、パッケージインストール時、/var/lib/gitolite3 に自動的に作成される。

Git管理の神ツール「Gitolite」なら、ここまでできる! (1/2)


GitWeb

インストール

sudo aptitude install gitweb
sudo a2enmod cgi

Apache2 の設定

まず、Apache の設定で、/etc/apache2/conf.d/gitweb がインストールされているが、場所もファイル名も間違っている。
sites-available に gitweb.conf とリネームして移動して、conf.d ディレクトリを削除する。
gitweb.conf の中身は、変更なし。

GitWeb の設定

次に、/etc/gitweb.conf を修正。
$projectroot には、Gitolite3 のリポジトリを指定。その他は、コメントインするだけ。
sudo vi /etc/gitweb.conf

$projectroot = "/var/lib/gitolite3/repositories";
$git_temp = "/tmp";
$home_text = "indextext.html";
$projects_list = $projectroot;
@stylesheets = ("static/gitweb.css");
$javascript = "static/gitweb.js";
$logo = "static/git-logo.png";
$favicon = "static/git-favicon.png";
@diff_opts = ();

リポジトリパーミッションの設定

このままでは、www-data ユーザで、Gitolite3 のリポジトリにアクセスする権限が無いので、その設定を行う。
sudo gpasswd -a www-data gitolite3
sudo chmod g+rx /var/lib/gitolite3
sudo chmod g+r /var/lib/gitolite3/projects.list
sudo chmod -R g+r /var/lib/gitolite3/repositories
sudo find /var/lib/gitolite3/repositories -type d -exec chmod g+x {} +


新規にリポジトリを追加する場合に、グループ読み取り可になるようパーミッションを設定。
sudo vi /var/lib/gitolite3/.gitolite.rc
    UMASK                           =>  0077,
                                                 ↓ 変更
    UMASK                           =>  0027,


Apache2 をリスタート
sudo apache2ctl restart


以上の設定で、すべてのリポジトリが公開できる。

公開リポジトリ設定

このままでは、管理用リポジトリも一覧に出てしまうので、指定したものだけリストアップされるように設定。

sudo vi /etc/gitweb.conf

$projects_list = $projectroot;
  ↓ 変更
$projects_list = "/var/lib/gitolite3/projects.list";

以下追加。一覧にあるリポジトリ以外は、直接 URL を指定しても表示されなくなる。
$strict_export = "true";


上記で指定した project.list ファイルには、Gitolite3 で @all または、gitweb に参照権限を付与したプロジェクトが、リストアップされる。
Gitolite3 管理リポジトリの gitolite-admin/conf/gitolite.conf ファイルを、以下のように変更して push すると、project.list ファイルに、公開リポジトリが書き込まれる。

repo  foobar
    R    =    gitweb

2014年6月15日日曜日

【備忘録】eclipse の JUnit や DDMS などでコネクションエラーが発生する問題

eclipse で JUnit を実行した場合や、DDMS のログに、コネクションエラーが出力されるようになってしまった。

発端は、ネットワークアダプタのドライバを、アンインストールして、インストールしたこと、もしくは、不要な”ローカル エリア接続”を、レジストリから削除して、名前を変更したからかもしれない。

もちろん、それまでは、普通に動作していたし、変更後も同じ条件で動作させた。

Google 先生に聞いたところ、どうやら JavaVM が、IPV6 で通信を行ってしまうかららしい。
ちなみに、現在の環境では、IPV6 は、設定で無効にしている。

しかし、何を基準に切り替えているのか不明・・・

以下のオプションを Java の実行時パラメータに追加すると、現象が発生しなくなった。

-Djava.net.preferIPv4Stack=true


追加する箇所は、Java を起動している、以下のような場所。
・eclipse.ini
・「Window」⇒「Preferences」⇒「Java」⇒「Installed JREs」で、インストールされている Java を選択して、「Edit」ボタンを押下。「Default VM arguments」
・プラグインや、プロジェクト毎に、java の環境を設定している場合の VM オプション。
等々。


最後に、起きた現象を記載しておく。

DDMS は、「Failed to initialize Monitor Thread: Unable to establish loopback connection」というダイアログが開く。
後は、Console ビューに、
[2014-06-15 14:55:21 - DeviceMonitor] Connection attempts: 1
[2014-06-15 14:55:23 - DeviceMonitor] Connection attempts: 2
[2014-06-15 14:55:24 - DeviceMonitor] Connection attempts: 3
・・・
など、ずっとエラー表示され続ける。

JUnit の場合は、テストケースを実行すると、しばらくしてから、以下のようなエラーがでる。
Could not connect to:  : 64389
java.net.SocketException: Invalid argument: connect
at java.net.DualStackPlainSocketImpl.connect0(Native Method)
at java.net.DualStackPlainSocketImpl.socketConnect(DualStackPlainSocketImpl.java:79)
at java.net.AbstractPlainSocketImpl.doConnect(AbstractPlainSocketImpl.java:339)
at java.net.AbstractPlainSocketImpl.connectToAddress(AbstractPlainSocketImpl.java:200)
at java.net.AbstractPlainSocketImpl.connect(AbstractPlainSocketImpl.java:182)
at java.net.PlainSocketImpl.connect(PlainSocketImpl.java:172)
at java.net.SocksSocketImpl.connect(SocksSocketImpl.java:392)
at java.net.Socket.connect(Socket.java:579)
at java.net.Socket.connect(Socket.java:528)
at java.net.Socket.(Socket.java:425)
at java.net.Socket.(Socket.java:208)
at org.eclipse.jdt.internal.junit.runner.RemoteTestRunner.connect(RemoteTestRunner.java:570)
at org.eclipse.jdt.internal.junit.runner.RemoteTestRunner.run(RemoteTestRunner.java:381)
at org.eclipse.jdt.internal.junit.runner.RemoteTestRunner.main(RemoteTestRunner.java:197)


2014年5月25日日曜日

【超個人的備忘録】読んでも意味無いよ。タブン・・・

POM

コンパイラーバージョン設定

<plugin>
  <artifactId>maven-compiler-plugin</artifactId>
  <version>3.1</version>
  <configuration>
    <source>1.7</source>
    <target>1.7</target>
  </configuration>
</plugin>

文字コード設定

<properties>
  <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
  <project.reporting.outputEncoding>UTF-8</project.reporting.outputEncoding>
</properties>

ソースディレクトリ設定

<plugin>
  <groupId>org.codehaus.mojo</groupId>
  <artifactId>build-helper-maven-plugin</artifactId>
  <version>1.8</version>
  <executions>
    <execution>
      <id>add-source</id>
      <phase>generate-sources</phase>
      <goals>
        <goal>add-source</goal>
      </goals>
      <configuration>
        <sources>
          <source>src/main/java</source>
        </sources>
      </configuration>
    </execution>
  </executions>
</plugin>

2014年5月21日水曜日

【備忘録】Ubuntu 13.10 環境でアップデートしたら KVM 仮想環境が起動しなくなった

いつも通り、アップデートしたら、KVM 仮想環境が起動しなくなった。
virsh start yebisu とかやると、以下のようなエラーで、起動しない。

エラー: ドメイン yebisu の起動に失敗しました
エラー: internal error: process exited while connecting to monitor: W: kvm binary is deprecated, please use qemu-system-x86_64 instead
char device redirected to /dev/pts/2 (label charserial0)
Could not access KVM kernel module: Permission denied
failed to initialize KVM: Permission denied


どうやら、/usr/bin/kvm 実行ファイルが非推奨となり、代わりに /usr/bin/qemu-system-x86_64 を使え、というメッセージらしい。
メッセージ通りに、仮想環境の設定を変更する。

virsh edit yebisu
で設定を変更できる。XML 該当部分を以下のように書き換えて、保存する。

<emulator>/usr/bin/kvm</emulator>
<emulator>/usr/bin/qemu-system-x86_64</emulator>



再び、virsh start yebisu とやって、仮想環境を起動しようとしたら、またエラーになった。

エラー: ドメイン yebisu の起動に失敗しました
エラー: internal error: process exited while connecting to monitor: char device redirected to /dev/pts/2 (label charserial0)
Could not access KVM kernel module: Permission denied
failed to initialize KVM: Permission denied

こっちは、悶絶した。解決方法も、正しいかは分からない。
仮想環境を起動するユーザーを kvm グループに追加することで、動くようになった。

user1 を kvm グループに追加
sudo gpasswd -a user1 kvm

一度ログアウトして、再度ログインする。
さもないと、グループ設定が有効にならない。

kvm グループに追加されていることを確認
groups
user1 adm cdrom sudo dip plugdev kvm sambashare lpadmin libvirtd


仮想環境を起動。
3度目の正直で起動できた。
virsh start yebisu
ドメイン yebisu が起動されました


2014年3月20日木曜日

【備忘録】net usershare add でのマウント方法

net usershare add の備忘録。

$ net usershare add www /var/cache/munin/www guest_ok=y

2014年1月11日土曜日

【備忘録】Ubuntu 13.10 の KVM 仮想環境上に PT3 と epgrec による録画環境の構築実験(パススルー非使用版)

以前の  【備忘録】Ubuntu 13.10 の KVM 仮想環境上に PT3 と epgrec による録画環境の構築実験(失敗) にて、 AMD-Vi パススルーで PT3 を動かす野望は潰えたのだが、諦めない、ネヴァーギヴアップ!

というわけで、別の方法を模索してみた。
基本戦略としては、epgrec をゲストで動作させ、ICカードリーダー、PT3 および recpt1 をホストで動作させる。
ゲストから、ssh 接続経由で、ホストの recpt1 を呼び出して、録画を行う。


環境
MB:GIGABYTE GA-990FXA-UD5(IOMMU 対応)
CPU:AMD Phenom II X4 955 Black Edition
MEM:8G
HDD:Seagate 2TB X 1(システム用)、2TB X 4(KVM ストレージプール用)
OS:Ubuntu Server 13.10 amd64
ICカードリーダー:PLEX PX-ICCR01
アースソフト PT3 Rev.A

ホストOSをインストール

Ubuntu のインストーラを起動
システム用 HDD 28GB の領域に LVM 構成で自動パーティショニングを行った。
以下のインストールソフトウェアを選択
Basic Ubuntu server
OpenSSH server
Samba file server
Virtual Machine host
Ubuntu desktop

アップデート
sudo aptitude update
sudo aptitude full-upgrade

必要なパッケージをインストール
sudo aptitude install ssh mdadm git build-essential libtool automake paco

リンカが gold になるように設定

もう少し言うと、通常のリンカと簡単に切り替え可能にし、gold の優先度を高く設定して、自動的に gold が有効になる、ということ。
sudo update-alternatives --install /usr/bin/ld ld /usr/bin/ld.bfd 1
sudo update-alternatives --install /usr/bin/ld ld /usr/bin/ld.gold 2
update-alternatives --display ld

作業用のパーティション作成

システム用 HDD の残り VG 領域に、作業用パーティションを作成。
sudo lvcreate --name=work --extents=100%FREE phenom-vg
sudo mkfs.ext4 /dev/phenom-vg/work
sudo lvs

パーティションの UUID を調べる
sudo blkid
/dev/mapper/phenom--vg-work: UUID="5ed97836-21ce-49b5-a92a-66b3ca75a12a" TYPE="ext4"

sudo vi /etc/fstab
末尾に追加
UUID=5ed97836-21ce-49b5-a92a-66b3ca75a12a    /mnt/work    ext4    rw    0    2

マウント先を作成
sudo mkdir /mnt/work
sudo chmod 777 /mnt/work

マウント
sudo mount /mnt/work

カードリーダーの設定

パッケージをインストール sudo aptitude install pcscd libpcsclite-dev pcsc-tools
カードリーダーの動作チェック
pcsc_scan

PT3 ドライバのインストール

ドライバをビルド

git clone http://github.com/m-tsudo/pt3.git
cd pt3
make clean
make
sudo paco -lp pt3-driver "make install"

ドライバを組み込む

sudo modprobe pt3_drv

因みに、以下のようにパラメータを渡すとデバッグレベルを指定できる
sudo modprobe pt3_drv debug=7

渡すことの出来るパラメータなどは、ソースの README を確認するか、以下のように調べる。
modinfo pt3_drv
filename:       /lib/modules/3.11.0-15-generic/kernel/drivers/video/pt3_drv.ko
license:        GPL
description:    PCI Earthsoft PT3 driver
author:         anyone
srcversion:     0A1D05542951609033BEAFC
alias:          pci:v00001172d00004C15sv*sd*bc*sc*i*
depends:
vermagic:       3.11.0-15-generic SMP mod_unload modversions
parm:           debug:debug level (0-7) (int)
parm:           lnb:LNB level (0:OFF 1:+11V 2:+15V) (int)

ドライバの動作確認

dmesg | grep -i pt3
[ 2954.181817] pt3_drv: module verification failed: signature and/or required key missing - tainting kernel
[ 2954.186493] PT3: pt3_drv 0.0.1rev99 2013-08-05
[ 2954.186592] pt3_drv 0000:04:00.0: enabling device (0000 -> 0002)
[ 2954.186736] PT3: Bus Mastering Enabled.
[ 2955.392717] PT3: device[0]=          (null)
[ 2955.394590] PT3: card_number=0 channel=0
[ 2955.396751] PT3: card_number=0 channel=1
[ 2955.398812] PT3: card_number=0 channel=2
[ 2955.400922] PT3: card_number=0 channel=3

デバイスファイルが存在することを確認

ls -la /dev/pt3*
crw-rw-rw- 1 root video 250, 0  1月  6 23:39 /dev/pt3video0
crw-rw-rw- 1 root video 250, 1  1月  6 23:39 /dev/pt3video1
crw-rw-rw- 1 root video 250, 2  1月  6 23:39 /dev/pt3video2
crw-rw-rw- 1 root video 250, 3  1月  6 23:39 /dev/pt3video3

arib25 のインストール

wget http://hg.honeyplanet.jp/pt1/archive/c44e16dbb0e2.zip
unzip c44e16dbb0e2.zip
cd pt1-c44e16dbb0e2/arib25
make clean
make
sudo paco -lp arib25 "make install"

recpt1 のインストール

git clone http://github.com/stz2012/recpt1.git stz_recpt1
cd stz_recpt1/recpt1
./autogen.sh


この環境では、以下のように、なぜか libarib25 を見つけられずにビルドが失敗する。
./configure --enable-b25
checking for create_arib_std_b25 in -larib25... no
configure: WARNING: libarib25 is not available.

make
gcc -O2 -g -pthread -I../driver -Wall -D_LARGEFILE_SOURCE -D_FILE_OFFSET_BITS=64  -c -o decoder.o decoder.c
In file included from decoder.c:4:0:
decoder.h:26:5: error: unknown type name ‘uint8_t’
make: *** [decoder.o] エラー 1

しょうがないので、応急手当。
vi Makefile.in
LDFLAGS  =
LDFLAGS  = @LDFLAGS@


LDFLAGS="-L/usr/local/lib" ./configure --enable-b25
make clean
make
sudo paco -lp recpt1 "make install"

動作確認

recpt1 --b25 --strip 27 20 test.ts


KVM 環境構築

必要なパッケージをインストール

以下のパッケージは、インストール時に選択したパッケージに含まれるもの。よって、インストール済みなはず。
sudo aptitude install kvm bridge-utils qemu-kvm-spice

以下のパッケージは、新規にインストールする必要があるもの。
sudo aptitude install virt-manager qemu-system virt-viewer spice-client spice-client-gtk python-spice-client-gtk guestfish libguestfs-tools

qemu-kvm-spice と spice-client は、SPICE (VNCのようなもの)で接続ために必要。
guestfish と libguestfs-tools は、ゲストのストレージをあれこれ操作するために必要。
guestfish コマンドとか virt-rescue コマンドなどで、バックアップや、レスキューができる。

ログインユーザーの補助グループに libvirtd を追加

sudo usermod $(whoami) -a -G libvirtd
cat /etc/group | grep libvirtd

再起動する。
再起動をしないと、virt-manager 起動時に「libvirt に接続できませんでした」と怒られる。

仮想ブリッジを定義

sudo vi /etc/network/interfaces
# This file describes the network interfaces available on your system
# and how to activate them. For more information, see interfaces(5).
# The loopback network interface
auto lo
iface lo inet loopback
# The primary network interface
#NetworkManager#auto eth0
#NetworkManager#iface eth0 inet dhcp
# ここから追加
auto eth0
iface eth0 inet manual
up /sbin/ifconfig eth0 promisc
auto br0
iface br0 inet dhcp
bridge_ports eth0
bridge_stp off
bridge_maxwait 1

ネットワーク設定を有効化

sudo service networking restart

確認
ifconfig -a
br0       Link encap:イーサネット  ハードウェアアドレス 00:24:8c:52:c1:65
          inetアドレス:192.168.1.102  ブロードキャスト:192.168.1.255  マスク:255.255.255.0
          inet6アドレス: fe80::224:8cff:fe52:c165/64 範囲:リンク
          UP BROADCAST RUNNING MULTICAST  MTU:1500  メトリック:1
          RXパケット:58 エラー:0 損失:0 オーバラン:0 フレーム:0
          TXパケット:89 エラー:0 損失:0 オーバラン:0 キャリア:0
          衝突(Collisions):0 TXキュー長:0
          RXバイト:5686 (5.6 KB)  TXバイト:15970 (15.9 KB)
eth0      Link encap:イーサネット  ハードウェアアドレス 00:24:8c:52:c1:65
          UP BROADCAST RUNNING PROMISC MULTICAST  MTU:1500  メトリック:1
          RXパケット:29029 エラー:0 損失:0 オーバラン:0 フレーム:0
          TXパケット:8515 エラー:0 損失:0 オーバラン:0 キャリア:3
          衝突(Collisions):0 TXキュー長:1000
          RXバイト:22073164 (22.0 MB)  TXバイト:762722 (762.7 KB)
lo        Link encap:ローカルループバック
          inetアドレス:127.0.0.1  マスク:255.0.0.0
          inet6アドレス: ::1/128 範囲:ホスト
          UP LOOPBACK RUNNING  MTU:16436  メトリック:1
          RXパケット:190 エラー:0 損失:0 オーバラン:0 フレーム:0
          TXパケット:190 エラー:0 損失:0 オーバラン:0 キャリア:0
          衝突(Collisions):0 TXキュー長:0
          RXバイト:22165 (22.1 KB)  TXバイト:22165 (22.1 KB)
virbr0    Link encap:イーサネット  ハードウェアアドレス d2:c4:a1:7e:c2:82
          inetアドレス:192.168.122.1  ブロードキャスト:192.168.122.255  マスク:255.255.255.0
          UP BROADCAST MULTICAST  MTU:1500  メトリック:1
          RXパケット:0 エラー:0 損失:0 オーバラン:0 フレーム:0
          TXパケット:0 エラー:0 損失:0 オーバラン:0 キャリア:0
          衝突(Collisions):0 TXキュー長:0
          RXバイト:0 (0.0 B)  TXバイト:0 (0.0 B)


不要なネットワーク設定を無効化

virbr0 は、KVM をインストールすると自動的に作成される。
外部から接続するような場合には、上記で作成した仮想ブリッジの方が便利なようなので、virbr0 を無効化しておく。

定義の確認
virsh net-list
virsh net-dumpxml default

停止
virsh net-destroy default

自動起動を停止
virsh net-autostart default --disable

確認
virsh net-list --all

ゲストOS 格納用ストレージプール作成

ストレージプールは、LVM 上に確保する。
LVM に利用するストレージは、RAID10 構成とする。

パーティションを作成

sudo parted /dev/sdb
(parted) mktable gpt
(parted)  mkpart disk0 0% 100%
(parted) set 1 raid on

(parted) quit

mkpart で、開始を 1 にしているのは、
同じように全ドライブにパーティションを作成

RAID10 作成

sudo mdadm --create /dev/md0 --level=10 --raid-devices=4 /dev/sd[b-e]
mdadm: /dev/sdb1 appears to contain an ext2fs file system
    size=975872K  mtime=Thu Oct 24 11:51:29 2013
mdadm: /dev/sdc1 appears to contain an ext2fs file system
    size=975872K  mtime=Thu Jan  1 09:00:00 1970
mdadm: /dev/sdd1 appears to contain an ext2fs file system
    size=975872K  mtime=Thu Jan  1 09:00:00 1970
mdadm: /dev/sde1 appears to contain an ext2fs file system
    size=975872K  mtime=Thu Jan  1 09:00:00 1970
Continue creating array? y
mdadm: Defaulting to version 1.2 metadata
mdadm: array /dev/md0 started.

RAID の状態を確認
cat /proc/mdstat
Personalities : [linear] [multipath] [raid0] [raid1] [raid6] [raid5] [raid4] [raid10]
md0 : active raid10 sde[3] sdd[2] sdc[1] sdb[0]
      3906765824 blocks super 1.2 512K chunks 2 near-copies [4/4] [UUUU]
      [....................]  resync =  0.1% (6511360/3906765824) finish=319.4min speed=203480K/sec

Physical Volume 作成

sudo pvcreate /dev/md0
  Physical volume "/dev/md0" successfully created

Volume Group 作成

sudo vgcreate vg0 /dev/md0
  Volume group "vg0" successfully created

Logical Volume は、KVM ゲスト作成時に自動的に作成されるので、ここでは作成しなくてよい。


KVM ゲスト用ストレージプール作成
virsh pool-define-as pool logical - - - vg0 /dev/vg0
プール pool が定義されました

virsh pool-autostart pool
プール pool が自動起動としてマークされました

virsh pool-start pool
プール pool が起動されました

virsh pool-list --all
名前               状態     自動起動
-----------------------------------------
pool                動作中  はい (yes)

録画ファイル保存用ストレージを作成

Logical Volume 作成

前述のストレージプール用に作成した Volume Group に作成する。
容量は 3TB とする。
sudo lvcreate --name=record-video --size=3t vg0
sudo mkfs.ext4 /dev/vg0/record-video

ゲストOS インストール

前回、散々コンソールでインストールをしたので、今回は GUI で楽をすることにした。

ubuntu のインストールイメージファイルを /mnt/work にコピーしておく。
共有作成メモ:
net usershare add work /mnt/work "work" "Everyone:F" guest_ok=y
net usershare list
net usershare delete work


ホストで virt-manager をログインユーザー権限で起動。
virt-manager

新しい仮想マシンを作成する。

ステップ1

名前:record
ローカルインストールメディアからインストール。

ステップ2

ISO イメージに /mnt/work にコピーしたイメージファイルを指定。
OS の種類:Linux
バージョン:Ubuntu 13.10 (Saucy Salamander)

ステップ3

メモリー:2048
CPU:4

ステップ4

管理しているストレージか、他の既存のストレージを選択する
参照ボタン押下
「Storage Pools」から pool を選択
新規ボリュームボタンを押下
名前:record
最大容量:20480 MB
割り当て:20480 MB
完了ボタン押下
作成した record ボリュームを選択
ボリュームを選択ボタンを押下

ステップ5

インストールの前に設定をカスタマイズするをチェック

グラフィックを Spice に切り替え

ディスプレイ VNC を選択
種類:Spice
パスワード:任意のパスワード(未設定でも可)
キーマップ:ja
適用ボタン押下
チャンネルを add したいですか?に 「はい」ボタン押下

インストールの開始ボタンを押下

日本語を選択
Ubuntu Serverをインストールを選択
選択された言語では完全ではありません。と言われるが、「はい」
あとは、日本か日本語を選択

ホスト名:record
ユーザ、パスワードは任意
ホームディレクトリを暗号化しますか?:いいえ
タイムゾーン Asia/Tokyo:はい
ガイド - ディスク全体を使い LVM をセットアップするを選択

自動的にアップデートしないを選択

インストールするソフトウェアは以下のものを選択
OpenSSH server
Samba file server

インストールが完了したら、ゲストを停止する。

録画ファイル保存用ストレージを追加

※仮想マシンの作成時にやろうとしたが、定義が重複してるだのヌカスノデ・・・

仮想マシンの情報を表示ボタンを押下
ハードウェアを追加ボタンを押下
Storage を選択
管理しているストレージか、他の既存のストレージを選択する
参照ボタンを押下
pool を選択
record-video (/dev/vg0/record-video) を選択
ボリュームを選択ボタンを押下
デバイスの種類:Virtio disk
キャッシュモデル:writethrough
ストレージ形式:raw
完了ボタン押下

ゲストを起動する

ゲストに必要なパッケージをインストール

参考:ubuntu13.10+pt3+epgrecの環境構築

システムを更新

sudo aptitude update
sudo aptitude full-upgrade

開発関連のパッケージをインストール

sudo aptitude install git automake build-essential libtool binutils-gold paco

リンカが gold になるように設定

sudo update-alternatives --install /usr/bin/ld ld /usr/bin/ld.bfd 1
sudo update-alternatives --install /usr/bin/ld ld /usr/bin/ld.gold 2
update-alternatives --display ld

epgrec 関連のパッケージをインストール

sudo aptitude install apache2 php5 mysql-server mysql-client php5-mysql libav-tools


念のため、ゲストを再起動しておく

recpt1 に関する設定

今回のこの方法は、セキュリティ的にヨロシクナイ。
河豚は食いたし、命は惜しし。

公開鍵認証の設定

www-data ユーザが、ssh 接続をする場合に、コマンド入力を発生させないよう、公開鍵認証方式でホストに接続できるようにする。
接続先ホスト:192.168.1.104
接続先ユーザ:user1
秘密鍵:/var/www/.ssh/id_rsa
公開鍵:/var/www/.ssh/id_rsa.pub

鍵の格納先を作成

sudo mkdir /var/www/.ssh
sudo chmod 700 /var/www/.ssh
sudo chown www-data:www-data /var/www/.ssh

鍵を作成

sudo -H -u www-data /usr/bin/ssh-keygen -N "" -t rsa

公開鍵をホスト側に設定

sudo -H -u www-data /usr/bin/ssh-copy-id user1@192.168.1.104

接続確認

sudo -H -u www-data /usr/bin/ssh -oStrictHostKeyChecking=no user1@192.168.1.104 ls

recpt1 のラッパー作成

ホスト側の recpt1 を ssh 経由で呼び出すラッパーコマンドを作成する。

sudo touch /usr/local/bin/recpt1
sudo chmod 755 /usr/local/bin/recpt1

sudo vi /usr/local/bin/recpt1
#!/bin/bash

SSH=/usr/bin/ssh
SSH_OPT=-oStrictHostKeyChecking=no
REMOTE_USER=user1
REMOTE_HOST=192.168.1.104
REMOTE_CMD=/usr/local/bin/recpt1

cmd_opt="$@"

if [ 3 -le $# ]; then
  # 引数が 3 つ以上の場合
  # 最後の引数を出力ファイルとして取得
  outfile=${*:$#}
  if [ - != ${outfile:0:1} ]; then
    # 出力ファイルの先頭1文字が - でない場合
    # 最後の引数以外を取り出し、出力ファイルにリダイレクト
    cmd_opt="${@:1:$#-1} - > '$outfile'"
  elif [ 2 -le ${#outfile} ]; then
    echo 最後の引数は、出力ファイルを指定して下さい。 1>&2
    exit 1
  fi
fi

# コマンドを実行(:? は、値が設定されていない場合エラーとなる指定)
eval ${SSH:?} $SSH_OPT $REMOTE_USER${REMOTE_USER:+@}${REMOTE_HOST:?} ${REMOTE_CMD:?} $cmd_opt

動作確認

sudo -H -u www-data /usr/local/bin/recpt1 27 10 /tmp/test.ts

ls -la /tmp/test.ts
-rw-r--r-- 1 www-data www-data 21561344  1月 11 10:05 /tmp/test.ts

sudo rm /tmp/test.ts

epgdump のインストール

git clone http://github.com/stz2012/epgdump.git stz_epgdump
cd stz_epgdump
make clean
make
sudo paco -lp epgdump "make install"

epgrec のインストール

at コマンドを epgrec から利用できるように設定

sudo vi /etc/at.deny
以下の行を削除
www-data

MySQL の設定

文字コードを UTF-8 に設定。

以前アップデートした時に、文字化けして痛い目を見たので、設定しておくことにする。
sudo vi /etc/mysql/my.cnf
[client] および [mysqld] に以下の設定を追加する。

[client]
default-character-set = utf8

[mysqld]
character-set-server = utf8

MySQL の再起動

sudo service mysql restart

設定の確認

mysql -u root -p
mysql> show variables like 'character_set%';
+--------------------------+----------------------------+
| Variable_name                  | Value                                |
+--------------------------+----------------------------+
| character_set_client           | utf8                           |
| character_set_connection   | utf8                            |
| character_set_database      | utf8                           |
| character_set_filesystem    | binary                         |
| character_set_results         | utf8                           |
| character_set_server         | utf8                           |
| character_set_system        | utf8                           |
| character_sets_dir             | /usr/share/mysql/charsets/ |
+--------------------------+----------------------------+
8 rows in set (0.00 sec)

データベースおよびユーザ作成

mysql> create database epgrec;
mysql> grant all on epgrec.* to epgrec@localhost identified by 'パスワードをここに記述'; mysql> flush privileges;

epgrec をダウンロード

cd /var/www
sudo git clone http://github.com/stz2012/epgrec.git epgrec

録画ファイル保存用ストレージのマウント設定

マウントディレクトリ内のファイルを削除

sudo rm /var/www/epgrec/video/*

UUID を調べる

sudo blkid
/dev/vdb: UUID="9e7ef31a-a571-44be-94c8-fa8e5b124f2e" TYPE="ext4"

fstab に追加

sudo vi /etc/fstab
UUID=9e7ef31a-a571-44be-94c8-fa8e5b124f2e /var/www/epgrec/video  ext4  defaults  0  2

マウント

sudo mount /var/www/epgrec/video

video ディレクトリ内のファイルを元に戻す

cd /var/www/epgrec
sudo git checkout .

epgrec の設定

cd /var/www
sudo chown -R www-data:www-data ./epgrec
cd epgrec
sudo cp do-record.sh.pt1 ./do-record.sh
sudo chown www-data:www-data do-record.sh
sudo chmod 755 do-record.sh
sudo chmod 777 cache settings templates_c thumbs video
sudo chmod 666 thumbs/index.html video/index.html
sudo cp config.php.sample config.php

sudo vi config.php
以下のように変更した。ただし、地域が変われば設定も変わる。
--- config.php.sample   2014-01-07 20:53:30.667557000 +0900
+++ config.php  2014-01-07 20:51:59.699557000 +0900
@@ -14,9 +14,10 @@
        "GR24" => "24",         // テレ朝
        "GR23" => "23",         // テレ東
 //     "GR20" => "20",         // MX TV
-//     "GR18" => "18",         // テレ神
-       "GR30" => "30",         // 千葉
-//     "GR32" => "32",         // テレ玉
+       "GR20" => "16",         // MX TV
+       "GR18" => "18",         // テレ神
+//     "GR30" => "30",         // 千葉
+       "GR32" => "32",         // テレ玉
        "GR28" => "28",         // 大学
 );

定期的に番組表を取得するクーロンを設定

sudo cp /var/www/epgrec/cron.d/getepg  /etc/cron.d

2箇所の php.ini を同様に編集

sudo vi /etc/php5/cli/php.ini
sudo vi /etc/php5/apache2/php.ini

以下の行をコメントアウト
disable_functions = pcntl_alarm,pcntl_fork,pcntl_waitpid,pcntl_wait,・・・・・

;disable_functions = pcntl_alarm,pcntl_fork,pcntl_waitpid,pcntl_wait,・・・・・

以下の行をコメントインして値を設定
;date.timezone =

date.timezone = "Asia/Tokyo"

Apache のデフォルト文字コードを UTF-8 に設定

sudo vi /etc/apache2/conf-available/charset.conf
#AddDefaultCharset UTF-8
AddDefaultCharset UTF-8


Apache を再起動

sudo service apache2 restart

ブラウザで接続

http://record/epgrec

次の画面での設定
変更した箇所だけ列挙する。
MySQL接続ユーザー名:epgrec
MySQL接続パスワード:データベース作成時に設定したパスワード
使用データベース名:epgrec
インストールURL:http://サーバー名/epgrec
サムネールの使用:使用する
ffmpegのパス:/usr/bin/avconv

設定を保存するボタンを押下

次の画面の設定は、好みに応じて適宜行うこと。

さらに進めて、EPG の初回受信を行う。
画面の説明で、cron の設定について書いてあるが、前述の設定で既に設定済みとなっている。

EPG 受信の手動実行方法
初回受信で失敗した場合、手動で実行してみる。
sudo -H -u www-data /var/www/epgrec/getepg.php


これで、設定はすべて完了。





おまけ

番組表表示で、チャンネルの並び順が、お気に召さなかったので、ちょっとパッチをした。
stz 版のソート順は、sid の昇順となっているようだ。

チャンネルテーブルにソート順カラムを追加
mysql -u epgrec -D epgrec -p
ALTER TABLE Recorder_channelTbl ADD sort INT(6) NOT NULL DEFAULT 500;

ソースにパッチ
sudo vi /var/www/epgrec/index.php
 45 // チャンネルマップ
 46 $tmprec = new DBRecord(CHANNEL_TBL);
-47 $recarr = $tmprec->fetch_array( "type", $type, "id > 0 ORDER BY sid+0 ASC" );
+47 $recarr = $tmprec->fetch_array( "type", $type, "id > 0 ORDER BY sort, sid+0" );

お好みのソート順を設定
TOKYO MX, tvk1, テレビ東京, テレ玉
UPDATE Recorder_channelTbl SET sort = 100 WHERE type = 'GR' AND channel IN ('16', '18', '23','32');

フジテレビ, TBS, テレビ朝日, 日テレ
UPDATE Recorder_channelTbl SET sort = 200 WHERE type = 'GR' AND channel IN ('21', '22', '24', '25');

放送大学
UPDATE Recorder_channelTbl SET sort = 1000 WHERE type = 'GR' AND channel = '28';


2014年1月8日水曜日

【備忘録】Ubuntu 13.10 の KVM 仮想環境上に PT3 と epgrec による録画環境の構築実験(失敗)

【2014/01/08】現時点では、実験に失敗している。
PT3 ドライバか recpt1 が正常に動作していないようだ。
手順の問題なのか、仮想環境の問題なのか、今のところ調べ切れていない。
いつかまた、再実験のために、この記録を公開しておく。

我が屍を超えてゆけ!!!

環境

MB:GIGABYTE GA-990FXA-UD5(IOMMU 対応)
CPU:AMD Phenom II X4 955 Black Edition
MEM:8G
HDD:Seagate 2TB X 1(システム用)、2TB X 4(KVM ストレージプール用)
OS:Ubuntu 13.10 Server amd64
ICカードリーダー:PLEX PX-ICCR01
アースソフト PT3 Rev.A

2014年1月7日火曜日

【備忘録】 tmux の設定ファイル(オレオレ仕様)

.tmux.conf
#
# tmux 設定
#

# プレフィックス変更
#set-option -g prefix C-z
#bind-key C-z send-prefix
#unbind-key C-b

# バックスクロール行数
set-option -g history-limit 10000

# シェル指定
set-option -g default-shell /bin/bash
set-option -g default-command /bin/bash

# ペイン開始番号
set-option -g base-index 1

# -r の連続入力待機ミリ秒(Default 500)
set-option -g repeat-time 1000

# ターミナルを 256 色モードに変更
set-option -g default-terminal screen-256color

# コピーモードを vi モードに変更
setw -g mode-keys vi

# 文字コード
set-window-option -g utf8 on
set-window-option -g status-utf8 on
# PuTTY の場合は、以下は OFF がいいらしい
set-option -g mouse-utf8 off

# pre + r で設定ファイル再読み込み
bind r source-file ~/.tmux.conf \; display-message "Reloaded config !!"

# マウス操作設定
set-option -g mode-mouse off
set-option -g mouse-select-pane off
set-option -g mouse-resize-pane off
set-option -g mouse-select-window off
bind-key m \
    set -g mode-mouse on \; \
    set -g mouse-select-pane on \; \
    set -g mouse-resize-pane on \; \
    set -g mouse-select-window on \; \
    display "Mouse: ON"
bind-key M \
    set -g mode-mouse off \; \
    set -g mouse-select-pane off \; \
    set -g mouse-resize-pane off \; \
    set -g mouse-select-window off \; \
    display "Mouse: OFF"

#
# ステータスバー
#

# 更新間隔(default 15)
set-option -g status-interval 10

# 最大長(default:left 10, right 40)
set-option -g status-left-length 30
set-option -g status-right-length 60

# 表示と色
set -g status-right "[#h# ] %Y/%m/%d %H:%M"
set -g status-bg colour144
set -g status-fg black
set -g status-left-bg magenta
set -g status-left-fg black
set -g status-right-bg cyan
set -g status-right-fg black

#
# ペイン
#

# 区切り線のスタイル
set -g pane-active-border-bg green
set -g pane-active-border-fg red
set -g pane-border-bg colour7
set -g pane-border-fg black
setw -g window-status-current-fg blue