ヒストリカルデータのデータベース化 ソースデータの取得と加工。

Posted by ┌|∵|┘ at 2006-02-01(水) 00:24

たまたまSQLiteでForexiteのデータをデータベース化していたところ、この記事を見つけました。

複数テキスト結合ツールやFreeCSVツール良いですね。おかげさまで作業がかなり楽になりました。ありがとうございました。

今後は1分足データから、5分足や10分足データなどを作れないかなと検討しているところです。SQL文で一発でという分けにはいかなそうですし・・・。

Posted by SBT at 2006-02-01(水) 21:06

はじめまして、独り言のような記事でしたが参考にしていただけてよかったです。

SQL文で分足 -> n分足というのは自分も考えたんですが、なかなか一発というのは無理そうですね。
とりあえず、5分足を出すのには↓のようなのまでは思いついたんですが、これだと指定した時間の高値・安値しか出せないですね・・・
何かよい方法ありましたら是非教えてください。

SELECT Date, Max(High), MIN(Low) FROM gbpjpy
WHERE Time BETWEEN 'hh:mm:ss' AND 'hh:mm:ss'+'00:05:00
GROUP BY Date;

MSのAccessだと、

SELECT Date, First(Open), Max(High), MIN(Low), Last(Close) FROM gbpjpy
WHERE Time BETWEEN 'hh:mm:ss' AND 'hh:mm:ss'+'00:05:00
GROUP BY Date;

みたいな感じで、指定時間のn分足の四本値が出せるみたいです。
First、LastはAccess独自みたいなのでMySQLではだめでしたが・・・。

Posted by ┌|∵|┘ at 2006-02-02(木) 19:59

正直あまり良い方法が思い浮かばないのですが、以下のようにテンポラリでテーブルを作成して結合すれば、5分足などの4本値を一つのテーブルとして抽出することができそうです。フィールドの型やWhere句は、必要に応じて変更してください。

/* レートデータテーブル  */
CREATE TABLE t_Rate(
	TICKER text,
	DATE integer,
	TIME integer,
	OPEN real,
	HIGH real,
	LOW real,
	CLOSE real
);

/* テンポラリーテーブル  */
CREATE TABLE t_HighLow(
	DATE integer,
	HIGH real,
	LOW real
);
CREATE TABLE t_Open(
	DATE integer,
	TIME integer,
	OPEN real
);
CREATE TABLE t_CLOSE(
	DATE integer,
	TIME integer,
	OPEN real
);

/* テンポラリテーブルに抽出データを格納する  */
INSERT INTO t_HighLow (date, high, low)
SELECT Date, Max(HIGH), MIN(LOW) FROM t_Rate
WHERE Time between 170000 AND 170500
GROUP BY Date 
ORDER BY DATE;

INSERT INTO t_Open (date, time, open)
SELECT Date, TIME, OPEN FROM t_Rate
WHERE Time = 170000
GROUP BY Date
ORDER BY DATE;

INSERT INTO t_CLOSE (date, time, open)
SELECT Date, TIME, open FROM t_Rate
WHERE Time = 170500
ORDER BY DATE;

/* 各テンポラリテーブルを結合する  */
SELECT t_Open.DATE, t_Open.time, t_Open.OPEN, HIGH, LOW, t_CLOSE.OPEN
FROM t_Open, t_HighLow, t_CLOSE
WHERE 
 t_Open.Date = t_HighLow.Date
AND
 t_Open.Date = t_CLOSE.Date
;

かなりベタなSQLなので、もっと上手いやり方があるとは思うのですが・・・。viewを使う手も考えたのですが、DBの件数が多いためにかなり重くなってしまうかもしれません。

Posted by SBT at 2006-02-03(金) 23:58

なるほど、テンポラリテーブルですか、ありがとうございます。

これがうまいこと出来るとおおまかにレートの検索や、把握をするのがだいぶ楽になるのですが・・・。

SQLの扱いにまだ慣れていないので、リファレンスとにらめっこしながら試してみます。
うまいことできたら、また記事にでもしてみますね。

Posted by こはる at 2006-07-03(月) 00:26

はじめまして。
為替のシステムトレードを調べていて、こちらにたどり着きました。
プログラミングはさっぱりなのですが、エクセルを使ってできないかなと思って挑戦中です。
すごく参考になりましたので、御礼がてら足跡残しますね。

Posted by SBT at 2006-07-03(月) 22:32

こはるさん、コメントありがとうございます。
Excelは自分で中身を確認しながらできるのがよいですよね。ちょっとした検証や確認作業には重宝します。
がんばってくださいね。

Posted by kuro at 2006-07-04(火) 21:30

トレステとsqlで検索して来ました。
イントラデータの管理は大変ですね、私はもう自分でやるのはあきらめてtradestationに口座を開こうかと思っています。

1分足からn分足への変換ですが、以下のようにして

select max(price), min(price) from ... group by (time - (time - 930) %  n)

n分ごとに丸めた式でgroup byをすると一応できるのではないでしょうか。
(timeは分単位、寄付は9:30と仮定）

ただ、これでもn分のopen/closeはむずかしいですね。
リレーショナルDBはデータの入っている順序を気にしてくれないので
firstやlastのような操作は難しいですね。
Accessはかなり特殊なほうだと思います。

Posted by SBT at 2006-07-05(水) 00:51

kuroさん、はじめまして、こんにちは。

結局、あまり良い方法が思いつかず変換は放置していたのですが、そういったやり方もできるのですね。
SQL文だけでやるのはやっぱりちょっと無理がありそうですかもですね。必要な場合は抜き出して手動とか脳内でやってますが、案外、こっちのほうが早いかも…。

参考になりました、ありがとうございました。