裴小星的博客
裴小星 · 共 61 篇文章
[置顶] PandaJS: Rhino + MongoDB + Server-side JQuery Template
PandaJS: Rhino + MongoDB + Server-side JQuery Template PandaJS 是基于 Rhino、MongoDB、Server-side jQuery Template 的 JS 编程工具包,目标是使用更一致的方式编写客户端和服务器端的 js 代码。它采用嵌入式的 Jetty 作为 Web Server,依赖于 Java 7。 PandaJS 在服务器端的页面渲染也采用 JQuery Template 的语法,而数据库操作接口的语法与 Mongo Shell 上直接执行的原生语法非常接近。这使得我们可以在服务器端和客户端共用页面渲染代码,并且可…
2011-09-22 12:36 · Panda JS 使用说明 · 评论(0)
[置顶] JAVA NIO 全书 译稿
JAVA NIO 全书 译稿 前言 本书介绍了Java平台上的高级输入/输出,具体点说,就是使用Java 2标准版(J2SE)软件开发包(SDK)1.4及以后版本进行的输入/输出。J2SE 1.4版代号Merlin,包含可观的I/O新特性,对此我们将作详细论述。这些新的I/O特性主要包含在java.nio软件包及其子包中,并被命名为New I/O(NIO)。通过本书,您将学会如何使用这些令人兴奋的新特性来极大地提升Java应用程序的I/O效率。 第一章 简介 面向对象的程序设计讲的无非就是封装。封装是个好东西:它分解任务,隐藏实施细节,提高对象的重复利用率。这样的分解、整合既适用于程序,也适…
2011-01-29 03:32 · Java NIO · 评论(75)
Nutch 源代码分析(1) Crawl 类
(以下分析针对的是 nutch 1.4) Crawl 类是运行抓取程序的入口,代码不多,但关联的其他类不少。 抓取的流程是: 1. 将初始的 URL 地址注入到 crawlDb 2. 从crawldb中生成一个url的子集用于抓取 3. 抓取网页 4. 分析网页 5. 更新 crawlDb ,增加新抓取的 url 6. 循环执行 2-5 步,直到达到指定的抓取深度 之后,还需要进行链接反转,将索引导入到 solr 等。 Crawl 类的声明如下: public class Crawl extends Configured implements Tool Configured 和 Tool 是…
2012-04-06 23:20 · Nutch 源代码分析 · 评论(0)
MongoDB Java Driver 源码分析(13):OutputBuffer,BasicOutputBuffer 和 PoolOutputBuffer
在之前的源代码分析中我们经常遇到神秘的 OutMessage 类的实例,并调用它的 writeInt,query 等方法与 MongoDB 数据库进行交互。 但 OutMessage 继承了 BSONEncoder 类,而 BSONEncoder 的 writeInt 等方法实际上是委托给 OutputBuffer 类的实例执行的。 因此为了弄清楚 OutMessage 类的实例的行为,我们需要先了解 OutputBuffer 类的主要逻辑。 BasicOutputBuffer 和 PoolOutputBuffer 的 write 和 pipe 方法的实现 OutputBuffer 类是一个…
2012-03-11 21:47 · MongoDB Driver · 评论(0)
MongoDB Java Driver 源码分析(12):GridFSFile、GridFSDBFile 和 GridFSInputFile
GridFSFile 类表示 GridFS 中的文件的信息,它是一个抽象类,分别被 GridFSDBFile (表示从数据库中读取的文件) 和 GridFSInputFile(表示将要保存到数据库中的文件 ) 继承。 GridFSFile 类包含下列属性(相应地有一系列的 get 方法) Object _id; // 文件的唯一标识 String _filename; // 文件的名称 String _contentType; // 文件内容类型 long _length; // 文件长度 long _chunkSize; // 文件分块大小 Date _uploadDate; // 更新时…
2012-02-28 21:41 · MongoDB Driver · 评论(0)
MongoDB Java Driver 源码分析(11):GridFS 类
GridFS 类在 com.mongodb.gridfs 包中的地位类似于 Mongo 类在 com.mongodb 包的作用,主要是提供对外的接口。 它的各个方法是分别委托给不同的类执行的,尤其是 DBColletion 类的实例 _filesCollection 和 _chunkCollection 。 我们先看看它的构造函数: /** * 在数据库中为指定的 bucket 创建 GridFS 实例 * bucket 可以认为是标识符,用于区分不同的 GridFS 的实例,类似于传统数据库中的不同表 * 默认的 bucket 是 "fs" */ public GridFS(DB db, …
2012-02-27 21:42 · MongoDB Driver · 评论(0)
MongoDB Java Driver 源码分析(10):com.mongodb 总结
com.mongodb 是 MongoDB Driver 核心类所在的包。其中 Mongo 类是整个 Driver 的入口点。 下面列出之前对这个包中的几个主要类的介绍: Mongo 表示一个数据库实例,可能包含多个 Server 。 http://xxing22657-yahoo-com-cn.iteye.com/blog/1236186 DB 表示一个数据库连接。 http://xxing22657-yahoo-com-cn.iteye.com/blog/1291183 DBApiLayer 继承 DB 类。DB 操作的底层实现,通过 Mongo 对象间接调用。 http://xxing…
2012-02-27 09:34 · MongoDB Driver · 评论(0)
MongoDB Java Driver 源码分析(9):com.mongodb.DBport
DBPort 是表示数据库端口的类,分别用 call 和 say 方法实现读取和写入操作。 这两个方法都调用了 go 方法。 // 读取操作 Response call( OutMessage msg , DBCollection coll ) throws IOException { return go( msg , coll ); } // 写入操作 void say( OutMessage msg ) throws IOException { go( msg , null ); } // 执行操作 private synchronized Response go( OutMessage…
2012-02-26 19:12 · MongoDB Driver · 评论(1)
MongoDB Java Driver 源码分析(8):com.mongodb.RelicaSetStatus
RelicaSetStatus 用于读取集群中的服务器节点的信息。 getMaster 方法和 getASecondary 方法分别可用于以获取 master 节点和 secondary 节点。 内部类 ReplicaSetStatus.Node 包含了节点的状态信息,内部类 ReplicaSetStatus.Node.Updater 用于实例化一个定时更新节点状态的线程。 getMaster 方法和 getASecondary 方法分析如下: // 获取 master 服务器地址 ServerAddress getMaster(){ // 获取 master 服务器节点 Node n = …
2012-02-26 16:45 · MongoDB Driver · 评论(0)
MongoDB Java Driver 源码分析(7):com.mongodb.DBAPILayer
DBAPILayer 继承了抽象类 DB ,主要借助内部类 DBApiLayer.MyCollection 实现具体的数据库操作。 DB 类的介绍可以参考: http://xxing22657-yahoo-com-cn.iteye.com/blog/1291183 借助 DBApiLayer.MyCollection 实现增删改查 DBApiLayer.MyCollection 继承了抽象类 DBCollection,具体实现了增删改查操作。 DBCollection 类的介绍可以参考之前的文章: http://xxing22657-yahoo-com-cn.iteye.com/blog/1…
2012-02-23 09:40 · MongoDB Driver · 评论(0)
MongoDB Java Driver 源码分析(6):com.mongodb.DBTCPConnector
DBTCPConnecror 是对 DBPort 类的封装,借助 DBPort 实现读写操作、获取服务器状态等。 ** say 方法和 call 方法 ** DBTCPConnecror 类中比较值得分析的是 say 方法和 call 方法的实现: // 执行写操作 WriteResult say( DB db , OutMessage m , WriteConcern concern , ServerAddress hostNeeded ) // 执行读操作 Response call( DB db , DBCollection coll , OutMessage m , ServerAd…
2012-02-22 09:04 · MongoDB Driver · 评论(0)
MongoDB Java Driver 源码分析(5):com.mongodb.DB
DB 表示数据库连接,是一个抽象类,部分核心功能由子类提供,由 DBApiLayer 继承。 由子类实现的抽象方法 // 开始数据库连接 public abstract void requestStart(); // 结束数据库连接 public abstract void requestDone(); // 保持数据库连接 public abstract void requestEnsureConnection(); // 获取指定名称的数据集 protected abstract DBCollection doGetCollection( String name ); 数据集相关的方法 …
2011-12-04 20:15 · MongoDB Driver · 评论(0)
MongoDB Java Driver 源码分析(4):com.mongodb.DBCursor
DBCurosr 是 DBCollection 的 find 方法返回的对象,可以设置 skip、limit 等属性之后,执行查询,得到查询结果, 用法如下: List<DBObject> obj = collection.find( query ).skip( 1000 ).limit( 100 ).toArray(); DBCursor 类的方法可以可以分为两类:修改查询属性 和 执行查询。 以上面的代码为例,find、skip、limit 就是修改查询属性,而 toArrray 就是执行查询。 在实际的实现中,修改查询属性的方法实际上是修改 DBCursor 对象的属性,执行查询则是通…
2011-11-20 22:47 · MongoDB Driver · 评论(0)
MongoDB Java Driver 源码分析(3):com.mongodb.DBCollection
DBCollection 是表示数据集合的抽象类,它的实现可以简单地分为两类: 一类是抽象方法,由子类(DBApiLayer.MyCollection)实现; 另一类委托给类型为 "DB" 的属性 _db,_db 实际上是 DBApiLayer 类的实例(DBApiLayer 继承抽象类 DB); 因此,DBCollection 类是实现细节与 DBApiLayer 关系密切。 DBApiLyer 的实现细节我们将在后续文章中进行详细的描述,本文主要探讨两者之间的联系。 由子类实现的方法 以下方法是由子类实现的,这些将在介绍 DBApiLayer 时再进行详细说明: // 插入记录 publ…
2011-11-13 07:41 · MongoDB Driver · 评论(0)
MongoDB Java Driver 源码分析(2):com.mongodb.Mongo
Mongo 表示一个数据库实例,可能包含多个 ServerAddress 和多个 DB。 本文将介绍 Mongo 类中的三个重要方法:构造方法,获取所有数据库的名称,通过名称获取指定的数据库 构造方法 实现如下: // 构造方法 // replicaSetSeeds 所有 Server 的地址 // options 默认的查询设置 public Mongo( List<ServerAddress> replicaSetSeeds , MongoOptions options ) throws MongoException { // 设置类变量 _addr = null; _addrs = r…
2011-11-05 06:31 · MongoDB Driver · 评论(0)