まず私のアイデアについて話しましょう。淘寶網(wǎng)上の多くの商品の価格を同時に監(jiān)視し、価格の傾向を取得します (これを取得するクローラーを自分で作成し、データベースに保存する予定です)。が、問題が発生します
過去 2 日または 7 日間 (できれば任意の日數(shù)) でどの商品の価格変動が最も大きかったかを分析できるようにデータを保存するにはどうすればよいですか、またこれをより適切に実裝するにはどうすればよいですか。価格差を見つけるために毎日データベースを検索する必要があるとは言えませんが、経験豊富なマスターからアドバイスをいただけますか?
価格差を見つけるために毎日データベースを検索する必要があるとは言えませんね 高すぎると思いますか?次に、ホット データをキャッシュに置き、このホットタイムの経過後にデータベースに永続化します。
ホットスポット データには次のものがありますが、これらに限定されません:
過去數(shù)日間に収集されたばかりのデータ
最も一般的に分析される日付範(fàn)囲 (2 日、7 日、1 か月など)
データ分析手法は Java とはあまり関係がありません。ある観點から見ると、Java はアイデアを計算に変換し、コンピューターと通信できるようにするための単なるツールです。
分析が必要な急速に変化するデータ --> ホットデータ --> Redis、メモリに保存されます。
長期の履歴データ --> コールドデータ --> mysql / oracle、ディスクに保存されます。