Node.js Spookyjsを使ったクローリング
Spookyjs spookyjsとはヘッドレスブラウザを実現しているPhantomjsをNode.jsから使えるようにしたものです。詳細は以前のブログを参照してください。 Node.js WEBクローリング Spook…
Spookyjs spookyjsとはヘッドレスブラウザを実現しているPhantomjsをNode.jsから使えるようにしたものです。詳細は以前のブログを参照してください。 Node.js WEBクローリング Spook…
ES6とは Node.jsはECMAScriptという仕様に従って実装されています。Node.jsの最新のLTSではECMAScriptのES6(ECMAScript 2015とも呼ばれている。ややこしい。)がサポートさ…
Node.jsのデプロイの問題点 Node.jsにはホットデプロイという機能が存在しないため、最新のソースコードを反映するにはプロセスの再起動をしなければいけません。その際に問題となるのがプロセスの再起動中に処理していた…
シンプルなasync ES7のasync/awaitではありません。2017年にもなってnpmのasyncの記事かよと思う方もいますが、4年間ほどソーシャルゲームの大規模開発で学んだasyncの使い方をまとめておきたいと…
WEBクローリングって何? WEBクローリングとはWEBサイト情報をAPIから取得し、複製・保存することです。WEBクローリングを使用している有名なWEBサービスとしてはマネーフォワード、Indeed、iQON等がありま…
JSONとcsvの相互変換 JSONとcsvの相互変換にはnpmモジュールのjson2csvとcsvtojsonが便利です。 json → csv変換 jsonからcsvへの変換はjson2csvが便利です。 impor…
Socket.IOの処理順とは? 今回はSocke.IOでwebsocketが接続完了してからイベントが呼ばれるまでの処理の間でどういったものがどんな順番で実行されているかについて説明します。 Socket.IOやリアル…
Socket.IOの変遷 以前、Socket.IOのプロトコルについて書いたので今回はSocket.IO自身について書きたいと思います。 Socket.IOは2010年3月19日にリリースされそれから7年以上もアップデー…
Socket.IOの負荷試験どうやってますか? 今回はSocket.IOサーバーの負荷試験について書きたいと思います。 負荷試験でよく使われるツールとしてJMeterがありますが、JMeterはこのままではwebsock…
詳細なプロトコルの必要性 リアルタイム通信といえばwebsocketですが、このwebsocketを簡単に扱えるようにしたものとしてNode.jsのsocket.ioが使われることが多いと思います。今回はこのsocket…