Tick Data Browser|巨大CSVをダウンロードせずに読む

Tick Data Browser|巨大CSVをダウンロードせずに読む
この記事は約1分で読めます。
OPEN FX TICK DATA · WEB FOR AI

FX Tick Data Browser

巨大なBid/AskヒストリカルCSVを丸ごと落とさず、必要な場所だけ読む。Nextcloud上の研究データを、人間・検索エンジン・生成AIが同じWeb導線から参照できる読み取り専用カタログです。

🔒 Read only⚡ HTTP Range🕒 seek-time🤖 AI-ready☁ Nextcloud
7files
0folders
109.31 GiBvisible data
Rangepartial read
WHY THIS CATALOG
スポンサーリンク

巨大Tickデータを、Webのまま研究材料に

FXバックテストや時系列解析で必要なのは、巨大ファイル全部ではなく「どのデータがあり、どこを読むか」。その発見と部分取得をWebページとして公開しています。

📚

検索できるデータカタログ

ファイル名、サイズ、更新日時、CSVヘッダー、収録開始・終了を確認。各ファイルには永久URLを割り当てます。

巨大CSVを部分読み取り

HTTP Rangeで先頭・25%・50%・75%・末尾や1MiB単位を取得。巨大ファイルの誤ダウンロードを防ぎます。

🤖

ChatGPT・生成AI向け

catalog.txt/json、meta.json、sample.txt、固定chunk URLを用意。URLを毎回変えずに段階的にデータへ到達できます。

AI WORKFLOW

生成AIがデータへ辿る4ステップ

Catalog固定URLのカタログから対象ファイルを発見。
Metadataサイズ・期間・chunk数・ETagを確認。
Sample先頭/末尾を読んでCSV構造を理解。
Chunk / Seek必要な範囲だけ取得して解析・バックテストへ。
生成AI用の固定入口

一時署名URLを毎回作らず、まず同じURLから始められるようにしています。URL差分による取得失敗を減らすため、発見用URLは固定です。

https://www.atto-hiro.com/tick-data-browser/ai/catalog.txt
DATA CATALOG

公開データ一覧

ファイルを選ぶと、サイズ・収録期間・CSV構造・AI向け固定URL・Range/日時ジャンプを確認できます。

Storage architecture: このページはデータそのものをWordPressへ複製していません。表示時にNextcloudの公開共有を読み取り専用で参照します。

FAQ

Tick Data Browserについて

巨大CSVを全部ダウンロードする必要がありますか?

ありません。HTTP Rangeで必要な部分だけ取得します。ブラウザ表示は最大1MiB、AI向けchunkも上限付きです。

ChatGPTから直接使えますか?

検索結果や通常のWebリンクからカタログを発見し、catalog.txt → meta.json → sample/chunk の順に辿れる構成です。環境側のWeb取得制限によっては利用可否が変わります。

Nextcloudのデータを書き換えられませんか?

公開Bridgeは読み取り専用です。PUT、DELETE、MOVE、アップロード等の操作は提供しません。

Web for AI — APIだけに頼らないデータ公開

このデータブラウザの設計背景・Nextcloudから生成AIへ巨大CSVを渡す考え方は、技術記事でも公開しています。

タイトルとURLをコピーしました