上場企業の株価取得

前回は上場企業をの株価データをすべてcsvファイルにするプログラムのhtmlを取得するところまで、作成しました。
今回はこれまで同様、html株価データの抜き出しと、csvファイルへの書き出しなのですが、
これらの２つは以前作成した１企業の株価の過去データを抜き出すものと同じやつを使います。
http://mosirobo.blogspot.jp/2014/09/html.html
http://mosirobo.blogspot.jp/2014/09/csv.html

なので、mainループを作成したので、そのプログラムを記載します。

上場しているすべての会社の株価をすべて取得するプログラムを作る

これまでのところでは１会社分の１日分のデータを取得するプログラム
http://mosirobo.blogspot.jp/2014/09/javahtml.html
http://mosirobo.blogspot.jp/2014/09/javacsv.html
http://mosirobo.blogspot.jp/2014/09/javahtml_4.html

と、１会社の過去の株価すべてを取得するプログラムの２つを作成しました。
http://mosirobo.blogspot.jp/2014/09/blog-post.html
http://mosirobo.blogspot.jp/2014/09/html.html
http://mosirobo.blogspot.jp/2014/09/csv.html
データを解析し、株ロボットを作るにはなるべく多くの会社の株価がほしいのですが、
全て手作業でやっていては非常に面倒です。
ですのでループを回して、すべての証券コードを入力していこうと思います。

javaでカンマの除去

これまでのところで一会社分の過去データをすべて読み込み、csvファイルにするところまで出来ました。

作成したプログラムではcsvファイルの区切りをタブで分けています。

（本来はカンマで区切るのが正解らしいのですが…）

ただ、数字が３桁を超えると千くらいにカンマが入力されてしまいます。

これはヤフーファイナンスの仕様上しょうがないことなのですが、邪魔なので除去しようと思います。

過去データの取得 -csvに格納

前回、前々回でhtmlから株価の過去データを取得し、配列に格納することが出来ました。

今回はcsvファイルに入れていきます。

以前にcsvファイルを作るプログラムを書きましたが、

今回はその変数を配列に変更し、ループで回すだけです。

過去データの取得 -htmlの正規表現

前回に引き続き、株価の過去データを取得する続きです。
これまでは1日分のデータだったので、変数に入れて、それを引き出すだけでよかったのですが、
過去何年分のデータを入れるのに変数を使うと大量の変数が必要になります。
そこで、これまで変数を使用していたところを配列にして順次格納していこうと思います。

過去データすべてを取得する -urlからhtmlの取得

前回までのところで株価データを一日分取得することが出来ました。
http://mosirobo.blogspot.jp/2014/09/javahtml_4.html
http://mosirobo.blogspot.jp/2014/09/javahtml.html
http://mosirobo.blogspot.jp/2014/09/javahtml.html
しかし、一日のデータのみで今後の傾向をつかむことはできないと思いますので、
できればこれまでのデータが全て欲しいです。
ということでそうなるように改良していこうと思います。

JAVAでつまずいたこと-参照渡し

続きまして、つまずいたところは参照渡しです。
参照渡しに関しては、色々なページが有ったのですが、ちょっとわかりづらかったです。
最初はcのポインタの方がわかりやすいのではないかとも思ったのですが、
使いづらいこともないですね。

JAVAでつまずいたところ-文字列を加算

さて、データをwebから取得するプログラムをある程度のところまで書くことが出来ました。
今回は初心者の僕がネットで調べても基本的なこと過ぎて調べるのが大変だったものを紹介しようと思います。
まず最初によく分からなかったことは、
文字列の結合です。

JAVAで抜き出したデータをcsvファイルに格納する。

これまでのところでネットに繋ぎhtmlを取得し、必要な情報をhtmlから抜き出すことが出来ました。

JAVAでhtmlから必要な情報を抜き出す。
javaでホームページからhtmlを取得する。

ただ、データを文字列として持っていては非常に扱いにくいと思いますので、
csvファイルに格納していこうと思います。

JAVAでhtmlから必要な情報を抜き出す。

前回はurlからhtmlを入手しました。
今回は入手したhtmlから必要な情報を抜き出していきます。
htmlの情報はタグで囲まれており、
必要な情報は<td>2014年9月2日</td><td>148</td><td>151</td><td>148</td><td>151</td><td>18,000</td><td>151</td>の部分です。
この行を正規表現で抜き出し、それぞれを変数に格納していこうと思います。

ちなみに抜き出す部分はブラウザで言うと下の部分です。

javaでホームページからhtmlを取得する。

さて、いよいよプラグラミングを開始します。
まず最初にwebページからhtmlファイルを取得しようと思います。

参考

JavaでGETを使った簡単なHTTPアクセ

http://blog.livedoor.jp/sasata299/archives/51075198.html

テストプログラム

http://www5f.biglobe.ne.jp/~uzy/smis/testp.htm

URLを指定して、ソース文字列を取得したい

http://okwave.jp/qa/q3532835.html

URLからHTMLを取得するプログラム（Java）

http://d.hatena.ne.jp/n_euler666/20070919/1190189499

この辺を参考にして作ってみました。

JAVAで株価取得プログラムを作る

株ロボを作るにあたってまず株価の推移データのcsvファイルを入手しなければなりません。
csvファイルの入手方法はデータを買ったり、無料でダウンロードしたりすることで入手できます。
また、ネット上には色々なツールが落ちているのでそれを走らせるだけでもデータの入手は可能です。

参考

株価データが入手できるサイト

http://techportal.web.fc2.com/link/data.htm

株価データの取得について質問です。 短時間で東証１部全銘柄の株価データを過去...

http://detail.chiebukuro.yahoo.co.jp/qa/question_detail/q1220986667

jsm 0.11

https://pypi.python.org/pypi/jsm

PythonでYahooファイナンスの時系列データを取得してみた

http://soubashoubai.hatenablog.com/entry/2014/07/30/144930

etc.

とまあ色々なツールやサイトが有るのですが、今回は練習も兼ねてJAVAで作ってみようと思います。

JAVAの開発環境を整える

プログラミングを始めるにあたって開発環境を整えるのが一般的なようです。
macの場合JAVAなどはエディターで書いて、ターミナルで動かしても動くようですが、
僕は初心者でよくわからないし、エディタによっては構文ミスを指摘してくれなかったりするので、統合開発環境（IDE）を使うことにしました。
JAVAのIDEはEclipseが最も有名なようです。

株予想ロボットに用いる言語

まず最初にプログラミングをするにあたって言語選択しなければなりません。
選ぶところとしては、
C, JAVA, PHP, PYTHON
こんなところでしょうか。