情報通信ネットワーク

前回の更新からもスクーリングからも大分時間がたってしまってますが、情報通信ネットワークの授業が面白かったのでブログに書こうと思います。
そもそもサーバの設定を変更しようと思って色々いじっていたけどうまくいかずに挫折。結局元の設定に戻してブログも地道に更新していこうと決めました。

授業は前半2日、2週間挟んで後半2日の4日間ありました。
前半ではグループワークでWebの仕組みを説明し、AWSを契約してWebサーバの構築をしました。
後半では設定したWebサーバでPythonからWebサイトのデータをスクレイピングして定期的に表示する授業でした。
授業の内容を何かしらのメモにまとめないとみんな忘れてしまうとのことで、Markdownでまとめてまとめてくださいとのことで今回MacdownというMacでMarkdownのドキュメントを作成できるフリーソフトを使ってメモをとってました。
これが便利で、コードハイライトの言語設定ができたりとか便利な機能があって今後もなにかあったら使っていきたいなと思ったけど、授業以来一度も使っていない。普通にブログの詳細記事とかこのスタイルでいいんじゃないかと思っているくらいなので流用できたらいいけどなぁ、、時間がなぁ、、ただの言い訳かなぁ、、。

授業のメモをアップしました。
・前半2日の授業
http://j2net.ssakura0407.jp/docs/2016091011.html

・後半2日の授業
http://j2net.ssakura0407.jp/docs/2016092425.html

今はクックパッドの毎週更新!おすすめ特集というページを週1でスクレイピングしてjson形式にして貯めてます。
http://j2net.ssakura0407.jp/json/

そもそもどのサイトの情報を定期的に蓄積して情報を比較してみるのが面白いかという点で考えきれてなかったと思う。
先生からクックパッドは全国のスーパーのチラシ情報を持っており、全国のスーパーでどの商品が安い高いのかを定期的にスクレイピングして比較してみれたら面白いんじゃないかという助言をいただいた。
たしかにそれが見れたらすごい面白そうと思いつつ、あまりスクレイピングしすぎると攻撃されていると思われIP制限をかけられるとのことなので時間をおいてスクレイピングする必要があるとのこと。
結局特集レシピの推移をみるため週1でjsonにまとめておくことにしました。
時間があったらjsonをサイトに表示するところまでやりたい。
カテゴリ: ムサビ通信   2016/10/21